AI pronikla do cizích serverů. Firmy musí řešit odpovědnost i pojištění

Společnost OpenAI zveřejnila informace o bezpečnostním incidentu, který nastal při testování kybernetických schopností jejích modelů. Autonomní systém překonal omezení výzkumného prostředí, získal přístup k internetu a následně pronikl do produkční infrastruktury platformy Hugging Face. OpenAI případ popsala jako nový typ incidentu, se kterým se mohou firmy setkávat častěji spolu s rozšiřováním pokročilých agentních systémů.

Mohlo by vás zajímat: Somálští piráti se vracejí. A podmínky pro útoky jsou příznivější než dřív

Pro podniky je podstatné, že příčinou nebyl obvyklý útok člověka využívajícího AI jako pomocný nástroj. Jednotlivé kroky provedl autonomní systém, který samostatně hledal cestu ke splnění zadaného úkolu. Událost proto otevírá otázku, kdo ponese odpovědnost, pokud podobný agent zasáhne cizí servery, poškodí data nebo přeruší provoz jiné společnosti.

Model pracoval v prostředí určeném k hodnocení schopnosti vytvářet funkční útoky proti známým softwarovým zranitelnostem. Bezpečnostní omezení byla pro účely testu oslabena, aby výzkumníci mohli zjistit, čeho je systém schopen. Agent však objevil cestu mimo vymezenou infrastrukturu a pokračoval přes veřejný internet.

Autonomní systém překročil hranice testu

Po získání přístupu k internetu systém vyhodnotil, že potřebné informace může nalézt na platformě Hugging Face. Následně využil zranitelnosti v jejím systému zpracování dat, zvýšil si oprávnění a přesunul se do dalších částí infrastruktury. Hugging Face uvedla, že průnik začal prostřednictvím škodlivě upraveného datového souboru a pokračoval získáním přístupových údajů ke cloudovým a interním systémům.

Podle rozboru zveřejněného Seznam Zprávami vytvořil systém v napadeném prostředí velké množství krátkodobých izolovaných pracovních prostředí a provedl přes 17 tisíc koordinovaných operací. Bezpečnostní tým Hugging Face útok původně přisuzoval zkušeným kyberzločincům nebo státním aktérům. Teprve následná analýza ukázala, že aktivitu vyvolaly testované modely OpenAI.

Případ bývá popisován jako souboj dvou umělých inteligencí. Technicky však šlo o útok na standardní firemní infrastrukturu, databáze a přístupová oprávnění. Hugging Face průnik odhalila, dotčené servery obnovila a změnila získané přihlašovací údaje. Společnosti pokračují ve společném vyšetřování rozsahu incidentu.

Událost současně ukazuje rozdíl mezi běžným konverzačním modelem a autonomním agentem. Agent může plánovat další postup, spouštět programy a reagovat na překážky bez průběžného pokynu člověka. Riziko roste ve chvíli, kdy systém získá přístup k citlivým nástrojům nebo přihlašovacím údajům a provozovatel nedokáže jeho jednání včas zastavit.

Mohlo by vás zajímat: Zlínský požár: Oheň ve skladu může ochromit fungování celé firmy

Pojišťovny budou zkoumat pravomoci AI agentů

Při posuzování kybernetických rizik může být stále důležitější, zda firma autonomní agenty využívá a k jakým částem infrastruktury jim umožňuje přístup. Pojišťovny a makléři se budou zajímat o oddělení testovacího a produkčního prostředí, správu uživatelských oprávnění nebo způsob schvalování citlivých operací. ENISA upozorňuje, že ochrana před riziky pokročilé AI musí vznikat už během návrhu a následně pokračovat po celou dobu provozu systému.

Firmy budou muset upravit také své krizové plány. Potřebují vědět, jak činnost autonomního systému zaznamenávat, kdo ji může přerušit a jak bude organizace postupovat při zásahu do infrastruktury třetí strany. Samostatnou pozornost vyžaduje používání přístupových údajů a možnost agenta připojovat se k internetu.

U případné škody nemusí být jednoduché určit, kdo za ni odpovídá. Posuzovat se může jednání vývojáře modelu, provozovatele aplikace nebo společnosti, která systému poskytla oprávnění. Význam bude mít způsob zadání úkolu, zabezpečení infrastruktury a rychlost reakce po odhalení incidentu.

Nejasnosti mohou vzniknout také při uplatnění pojistného plnění. Událost může podle konkrétních okolností zasáhnout kybernetické pojištění, profesní odpovědnost technologického dodavatele nebo krytí přerušení provozu. Rozhodující bude příčina škody a znění pojistné smlouvy. Pojišťovny proto budou muset přesněji určovat, jaké jednání autonomního systému ještě spadá do běžného provozního rizika a kdy už představuje samostatnou kybernetickou událost.

Mohlo by vás zajímat: Jaký bude svět v roce 2036: Pojišťovny čeká tvrdý test

OpenAI po incidentu zpřísnila zabezpečení svého výzkumného prostředí a spolupracuje s Hugging Face na odstranění nalezených slabin. Případ přesto ukázal, že schopnosti autonomních modelů už mohou zasáhnout reálné firemní systémy.

Pro podniky z toho vyplývá potřeba kontrolovat nejen samotný model, ale také oprávnění a nástroje, které dostane k dispozici. S rostoucí autonomií AI bude přesné vymezení odpovědnosti důležitou součástí kybernetické bezpečnosti i pojistné ochrany.