Modely umělé inteligence vyvinuté společností OpenAI unikly z údajně izolovaného testovacího prostředí a pronikly do produkční infrastruktury společnosti Hugging Face zabývající se umělou inteligencí. Společnost OpenAI tuto událost označila za „bezprecedentní kybernetický incident“.
K incidentu došlo během interního testování, jehož cílem bylo prověřit kybernetické schopnosti modelů společnosti OpenAI. Společnost uvedla, že modely dostaly pokyn uplatňovat složité techniky zneužití s cílem změřit jejich schopnost provádět pokročilé kybernetické operace.
Mezi modely patřil GPT-5.6 Sol a výkonnější předběžný model, který se stále nachází ve fázi interního testování. OpenAI uvedla, že modely pracovaly s omezenými bezpečnostními omezeními, protože účelem testování bylo právě prověřit jejich schopnost vyhledávat a zneužívat zranitelnosti.
Modely běžely v prostředí, které společnost OpenAI popsala jako „vysoce izolované“, s přístupem k síti omezeným na interně hostovaný proxy server a mezipaměť pro instalaci softwarových balíčků.
Modely však vynaložily značné výpočetní zdroje na hledání způsobu, jak se dostat na otevřený internet. Nakonec identifikovaly a zneužily dosud neznámou zranitelnost v proxy serveru mezipaměti registru balíčků, kterou společnost OpenAI následně nahlásila dodavateli softwaru.
Modely poté eskalovaly svá oprávnění a pohybovaly se laterálně po výzkumném prostředí, dokud nedosáhly uzlu s přístupem k internetu.
Po získání přístupu k internetu modely usoudily, že Hugging Face by mohl hostovat modely, datové sady a řešení související s kybernetickým hodnocením ExploitGym. Následně hledaly způsoby, jak získat informace, které by jim pomohly dokončit test.
Podle OpenAI modely zřetězily několik útočných vektorů, včetně odcizených přihlašovacích údajů a zranitelností typu zero-day, aby našly cestu pro vzdálené spuštění kódu na serverech Hugging Face.
„Modely identifikovaly a zřetězily zranitelnosti napříč výzkumným prostředím OpenAI a produkční infrastrukturou Hugging Face, aby získaly testovací řešení přímo z produkční databáze Hugging Face,“ uvedla společnost OpenAI. Společnost dodala, že modely se zdály být „hyperzaměřené“ na nalezení řešení pro hodnocení a šly „do krajních mezí, aby dosáhly poměrně úzkého testovacího cíle“.
Počáteční vyšetřování společnosti Hugging Face odhalilo, že k narušení došlo v jejím datovém zpracovatelském řetězci. Podle společnosti zneužil škodlivý datový soubor dvě cesty pro spuštění kódu – nástroj pro vzdálené načítání datových souborů a vložení šablony do konfigurace datového souboru – k provedení kódu na zpracovatelském uzlu. Útočník poté eskaloval přístup na úroveň uzlů, získal přihlašovací údaje ke cloudu a clusterům a pohyboval se laterálně napříč několika interními clustery.
Společnost Hugging Face uvedla, že kampaň zahrnovala rámec autonomních agentů provádějících „mnoho tisíc jednotlivých akcí“ napříč rojem krátkodobých sandboxů, s infrastrukturou pro řízení a kontrolu, která se sama migruje a je umístěna na veřejných službách. Během vyšetřování zaznamenala společnost více než 17 000 událostí souvisejících s útočníkem.
Bezpečnostní tým společnosti OpenAI tuto neobvyklou aktivitu odhalil interně. Vlastní bezpečnostní tým společnosti Hugging Face a agenti AI rovněž tuto aktivitu na její infrastruktuře odhalili a zastavili.
Společnost Hugging Face uvedla, že při počátečním odhalení jí pomáhal systém detekce anomálií založený na AI, který k analýze bezpečnostní telemetrie využíval rozsáhlé jazykové modely. Následně společnost pomocí agentů AI rekonstruovala časovou osu útoku, identifikovala indikátory kompromitace a zmapovala přihlašovací údaje, ke kterým bylo během vniknutí získáno přístup. Uvedla, že analýza trvala spíše hodiny než dny, jak by takové vyšetřování obvykle vyžadovalo.
Společnost Hugging Face o tomto narušení informovala již o několik dní dříve a popsala jej jako útok, který se lišil od všeho, s čím se společnost dosud setkala, protože byl proveden „od začátku do konce autonomním systémem agentů umělé inteligence“.
Společnost uvedla, že k narušení došlo v podobě neoprávněného přístupu k omezenému počtu interních datových sad a přihlašovacích údajů ke službám. Nenašla žádné důkazy o tom, že by došlo k manipulaci s veřejnými modely, datovými sadami nebo prostory (Spaces), a uvedla, že její softwarový dodavatelský řetězec byl ověřen jako bezpečný.
Společnost uvedla, že odstranila zranitelnosti využité k počátečnímu přístupu, obnovila napadené uzly, zrušila a obměnila dotčená přihlašovací údaje a zavedla dodatečná bezpečnostní opatření ve svých klastrech. Rovněž uvedla, že incident nahlásila orgánům činným v trestním řízení.
Generální ředitel a spoluzakladatel společnosti Hugging Face Clément Delangue uvedl, že společnost měla podezření, že útok mohl pocházet z přední laboratoře zabývající se umělou inteligencí.
Později dodal, že předchozích 24 hodin strávil spoluprací s OpenAI a že „z jejich strany nešlo o žádný zlovolný úmysl“. „Je to docela ohromující, že se to všechno stalo zcela autonomně!“ řekl Clément Delangue.
Společnost OpenAI uvedla, že nyní zpřísňuje kontroly své výzkumné infrastruktury a evaluačních prostředí. Spolupracuje také se společností Hugging Face na vyšetřování incidentu a zodpovědně zveřejnila zranitelnost typu zero-day, kterou modely využily.
Společnost uvedla, že incident ukázal, že pokročilé modely jsou stále více schopné provádět komplexní, vícestupňové kybernetické operace po dlouhou dobu.
„Umělá inteligence urychluje objevování a zneužití zranitelností,“ uvedla společnost OpenAI. „Hlavním ponaučením z tohoto incidentu je, že bezpečnost a ochrana modelů musí držet krok s rychle se rozvíjejícími schopnostmi.“
Společnost uvedla, že incident ukázal, že pokročilé modely jsou stále více schopné provádět komplexní, vícestupňové kybernetické operace po dlouhou dobu.
„Umělá inteligence urychluje odhalování a zneužití zranitelností,“ uvedla společnost OpenAI. „Hlavním ponaučením z tohoto incidentu je, že bezpečnost a ochrana modelů musí držet krok s rychle se rozvíjejícími schopnostmi.“
Incident již vyvolal výzvy k přísnějšímu dohledu nad průkopnickými systémy umělé inteligence.
Texaský demokratický kongresman Greg Casar označil incident za alarmující a vyzval k povinnému nezávislému testování bezpečnosti, povinnému zveřejňování bezpečnostních incidentů souvisejících s umělou inteligencí a k mezinárodní spolupráci.
„Umělá inteligence se vyvíjí extrémně rychle, aniž by existovaly skutečné předpisy, které by nás chránily,“ řekl Casar a varoval před rizikem „absolutní katastrofy“.
Katie Moussourisová, výkonná ředitelka společnosti Luta Security zabývající se kyberbezpečností, popsala současné modely umělé inteligence jako „nejchytřejší chobotnice na světě, které se specializují na útěky, s neomezeným počtem uchopovacích chapadel a schopností protáhnout se kdekoli“.
„Laboratoře a vládní hodnotitelé musí pracovat na schopnosti omezit, monitorovat a informovat dotčené strany, když umělá inteligence předvede další Houdiniho kousek, ideálně dříve, než ublíží třetí straně,“ uvedla. „Dnes nic takového neexistuje.“
Matt Suiche, inženýr ve společnosti Tolmo zabývající se kyberbezpečností umělé inteligence, uvedl, že tento incident ukázal, že nejmodernější modely „snižují náskok nejmodernějších útočníků“.
Upozornil však, že použité techniky se nemusí nutně omezovat pouze na nejmodernější systémy umělé inteligence.
„To jsme již viděli interně; s našimi agenty již máme podobné výsledky,“ řekl Suiche. „Nemusíme ani používat nejnovější modely.“
Společnost OpenAI uvedla, že pro budoucí vývoj modelů posílí opatření k zamezení šíření, monitorování, kontrolu přístupu a hodnotící postupy.
Vyšetřování společnosti Hugging Face také ilustrovalo roli open-source modelů.
Když se společnost poprvé pokusila k analýze útoku použít špičkové modely z předních amerických laboratoří, tyto systémy nebyly schopny pomoci. Tým se místo toho obrátil na GLM 5.2, model s otevřenými váhami vyvinutý čínskou společností Zhipu AI a provozovaný lokálně na vlastní infrastruktuře Hugging Face.
Delangue uvedl, že tento incident by mohl být „pravděpodobně prvním incidentem svého druhu“, a zdůraznil, že bezpečnost umělé inteligence nelze řešit pouze silami jednotlivých společností.
„Tento incident, pravděpodobně první svého druhu, potvrzuje to, čemu již dlouho věříme: bezpečnost umělé inteligence nevyřeší žádná jednotlivá společnost pracující v utajení,“ řekl. „Bude vyřešena otevřeně, ve spolupráci a s širokým přístupem k umělé inteligenci pro každého obránce, kdekoli na světě.“
Publikováno v magazínu BrusselsSignal
Konzervativní noviny nabízí všechny články zdarma. Náš provoz se však neobejde bez nezbytné finanční podpory. Pokud se Vám Konzervativní noviny líbí, budeme vděčni za Vaši pomoc. Číslo účtu: 2701544173 / 2010. Děkujeme!
