USA zvažují přísnější dohled nad AI. Evropa už kontroluje modely se systémovým rizikem

Američtí senátoři připravují návrh, který by největším vývojářům umělé inteligence uložil povinnost prokazovat, že přijali přiměřená opatření proti závažnému zneužití nebo selhání svých modelů. Stát by mohl technologie nezávisle testovat a v krajním případě žádat soud o zastavení uvedení nebezpečného systému na trh.

Návrh reaguje na rostoucí obavy z rychlého vývoje nejpokročilejších modelů. Vedle současných problémů, jako jsou podvody, kybernetické útoky, manipulace nebo tvorba dezinformací, se debata stále častěji zaměřuje také na schopnost AI pomáhat při vývoji biologických či jaderných zbraní nebo jednat bez dostatečné lidské kontroly.

Bezprostředním impulzem byla varování několika výzkumníků zabývajících se bezpečností AI. Bývalý pracovník společnosti Anthropic Jacob Coxon při svém odchodu uvedl, že část lidí vyvíjejících umělou inteligenci považuje katastrofický scénář za reálné riziko ještě před koncem desetiletí. Podobné odhady však zůstávají předmětem odborných sporů a nelze je považovat za obecně přijímanou prognózu.

Firmy by dostaly povinnost předcházet závažným rizikům

Připravovaná americká legislativa má zavést takzvanou povinnost náležité péče. Vývojáři nejvýkonnějších modelů by museli být schopni doložit, že jejich produkty navrhují, testují a provozují způsobem, který omezuje předvídatelná rizika.

Americký ministr obchodu by mohl požadovat dokumentaci bezpečnostních opatření a vyslat státní auditory, aby modely nezávisle prověřili. Testování by se mohlo zaměřit například na možnost obcházení bezpečnostních omezení, autonomní provádění kybernetických útoků, ochranu parametrů modelu nebo schopnost poskytovat citlivé návody využitelné při výrobě nebezpečných látek.

Pokud by úřady vyhodnotily určitý systém jako nepřijatelně nebezpečný, mohly by se obrátit na federální soud a požádat o zablokování jeho zveřejnění. Dotčená společnost by měla možnost rozhodnutí napadnout. Přesná definice přiměřených bezpečnostních opatření ani hranice, od níž by stát mohl zasáhnout, však zatím nejsou dohodnuty.

Návrh projednávají představitelé republikánů i demokratů, včetně šéfa republikánské většiny v Senátu Johna Thunea, předsedy senátního výboru pro obchod Teda Cruze a demokratické senátorky Amy Klobucharové. Případné schválení ale komplikuje omezený čas před listopadovými volbami i odpor části administrativy.

Prezident Donald Trump zastává názor, že stát už má dostatek nástrojů k postihování technologických firem a další regulace by mohla oslabit Spojené státy v technologickém soupeření s Čínou. Návrh proto ani po případném průchodu Kongresem nemá jistou podporu Bílého domu.

Spor o pravomoci jednotlivých států

Součástí jednání je také možnost, že by federální pravidla nahradila část zákonů přijímaných jednotlivými americkými státy. Zastánci jednotného rámce tvrdí, že firmy nemohou vyvíjet celostátní produkty podle desítek rozdílných regulatorních režimů.

Kritici naopak upozorňují, že federální zákon by mohl oslabit přísnější ochranu zavedenou například v Kalifornii nebo New Yorku. Pokud by výsledná celostátní pravidla byla příliš obecná, státy by zároveň přišly o možnost pružně reagovat na nové problémy.

Americký Kongres projednává také samostatný návrh na povinné hlášení bezpečnostních incidentů. Vývojáři by podle něj měli ministerstvu obchodu oznamovat zjištěné nebezpečné schopnosti, únik parametrů nebo pokusy modelu obejít lidskou kontrolu. Nejzávažnější případy by ministerstvo následně předávalo Kongresu.

Evropská unie už pracuje s kategorií systémového rizika

Evropská unie zvolila komplexnější přístup prostřednictvím nařízení o umělé inteligenci, známého jako AI Act. Ten rozděluje systémy podle míry rizika a ukládá jejich provozovatelům rozdílné povinnosti.

Pro obecné modely, na kterých mohou být postaveny chatboty, programovací asistenti nebo další aplikace, platí povinnost vést technickou dokumentaci, poskytovat informace navazujícím vývojářům, respektovat evropské autorské právo a zveřejňovat souhrn obsahu použitého při trénování.

Zvláštní režim se vztahuje na nejvýkonnější modely s možným systémovým rizikem. Evropská pravidla předpokládají tuto kategorii u modelů, jejichž trénování překročí výpočetní hranici 10²⁵ operací s plovoucí desetinnou čárkou. Evropská komise ale může mezi systémově rizikové zařadit také jiný model, pokud má srovnatelné schopnosti nebo dopad.

Jejich poskytovatelé musí provádět standardizované hodnocení, zátěžové a adversariální testy, analyzovat systémová rizika, evidovat závažné incidenty a zabezpečit model i jeho infrastrukturu proti krádeži nebo zneužití. Dohled vykonává Evropský úřad pro umělou inteligenci, který může požadovat dokumentaci, provádět vlastní hodnocení, nařídit nápravná opatření a ukládat sankce.

Některé způsoby používání AI Evropa přímo zakázala

Evropský AI Act nezakazuje samotný vývoj výkonných modelů, ale omezuje konkrétní způsoby jejich nasazení. Zakázány jsou například systémy určené k nebezpečné manipulaci lidí, sociálnímu hodnocení občanů nebo zneužívání jejich zranitelnosti.

Omezení se týká také necíleného shromažďování fotografií z internetu a kamerových záznamů za účelem vytváření databází pro rozpoznávání obličejů. Ve školách a na pracovištích se až na úzké výjimky nesmí používat automatické rozpoznávání emocí. Přísná pravidla platí rovněž pro biometrickou identifikaci ve veřejném prostoru.

U vysoce rizikových aplikací, například v kritické infrastruktuře, zdravotnictví, zaměstnávání, úvěrovém hodnocení, justici nebo migraci, budou muset provozovatelé zajistit dohled člověka, kvalitní vstupní data, záznamy o činnosti systému, kybernetickou bezpečnost a možnost zpětně vysvětlit jeho fungování.

Evropská regulace se vztahuje také na společnosti sídlící mimo EU, pokud své modely nabízejí na evropském trhu. Povinnostem se proto nemohou vyhnout ani američtí nebo čínští vývojáři pouhým přesunutím sídla.

Jak lze nejvýkonnější AI prakticky omezovat

Úplný zákaz vývoje umělé inteligence není v současnosti reálný ani snadno kontrolovatelný. Státy však mohou zavést několik stupňů dohledu.

První možností je povinné testování před zveřejněním. Nezávislí odborníci by zkoumali, zda model dokáže obcházet ochranné mechanismy, samostatně plánovat složité útoky nebo poskytovat nebezpečné biologické a chemické informace.

Druhým nástrojem je řízené zpřístupňování. Místo volného stažení parametrů může být výkonný model dostupný pouze prostřednictvím kontrolovaného rozhraní, které omezuje počet požadavků, sleduje podezřelé chování a umožňuje přístup konkrétnímu uživateli zablokovat.

Další možností je povinné hlášení incidentů, ochrana parametrů před odcizením a stanovení osobní nebo firemní odpovědnosti za zanedbání bezpečnostních povinností. Státy mohou využívat také exportní kontroly nejvýkonnějších čipů a zařízení potřebných k trénování modelů.

Nejpřísnějším opatřením by bylo dočasné pozastavení nasazení určitého modelu. Takový zásah by měl být založen na měřitelných rizicích, podléhat soudní kontrole a umožnit firmě rozhodnutí napadnout. Bez těchto pojistek by mohlo docházet ke svévolnému blokování technologií nebo k ochraně dominantních firem před menší konkurencí.

Regulace nesmí chránit pouze největší hráče

Přísné požadavky na dokumentaci, testování a certifikaci dokážou nejsnáze splnit společnosti jako OpenAI, Anthropic, Google, Meta nebo Microsoft. Menší vývojáři a výzkumné týmy mohou mít s náklady na regulatorní proces výrazně větší problém.

Pravidla by proto měla být odstupňována podle skutečných schopností modelu a rozsahu jeho nasazení, nikoli pouze podle velikosti firmy. Běžný specializovaný systém určený například ke kontrole dokumentů by neměl podléhat stejnému režimu jako model schopný autonomně používat nástroje, vytvářet software a zasahovat do kritické infrastruktury.

Stejně důležité je nezúžit celou diskusi na hypotetický zánik lidstva. Regulace musí řešit také škody, které už dnes prokazatelně vznikají: podvody, vydávání se za jiné osoby, deepfaky, diskriminaci při rozhodování, porušování soukromí, úniky citlivých dat a automatizované kybernetické útoky.

Americký návrh představuje posun od dobrovolných bezpečnostních slibů technologických společností k právně vymahatelné odpovědnosti. Zda se jej podaří přijmout, zůstává nejisté. Směr debaty je však zřejmý: s rostoucími schopnostmi AI sílí požadavek, aby vývojáři nejen představovali nové funkce, ale také prokazovali, že dokážou zvládat rizika, která sami vytvářejí.