Diskusi výrazně rozvířil výzkumník Jacob Coxon, který 8. září 2026 oznámil odchod z Anthropic. Dříve působil také v OpenAI. Coxon tvrdí, že přední technologické společnosti směřují k systémům, které se mohou výrazně podílet na vývoji další generace umělé inteligence. Za hlavní problém považuje skutečnost, že schopnosti modelů rostou rychleji než možnosti zaručit jejich spolehlivou kontrolu. Jeho odchod tak posunul dlouhodobou odbornou debatu o bezpečnosti AI z výzkumných laboratoří výrazněji do veřejného prostoru.
Mohlo by vás zajímat: Aon kupuje USI za 17 miliard dolarů. Posílí na americkém trhu
Obavy míří k AI schopné urychlovat vlastní vývoj
Klíčovým bodem Coxonova varování je možnost rekurzivního sebezdokonalování. Pokročilý model by mohl pomáhat s výzkumem svého nástupce a tím dále urychlovat technologický vývoj. Každá další generace by mohla vývojářům poskytovat výkonnější nástroje pro přípravu generace následující. Coxon považuje následující jeden až dva roky za důležité období, ve kterém mohou rozhodnutí technologických firem výrazně ovlivnit bezpečnost dalšího vývoje.
Tempo je v tomto případě zásadní. Pokud by schopnosti systémů rostly rychleji než metody jejich testování a zabezpečení, prostor pro reakci by se postupně zmenšoval. Podle Coxona zatím vývojáři neumějí spolehlivě garantovat, jak se velmi schopný model zachová ve všech situacích. V rozhovoru pro WIRED upozornil například na možnost zneužití AI při kybernetických útocích nebo při vytváření biologických hrozeb. Riziko podle něj výrazně roste v okamžiku, kdy systémy získávají větší autonomii a současně nové nástroje pro působení mimo uzavřené prostředí.
Anthropic možnost závažných dopadů pokročilé AI zahrnuje do své bezpečnostní politiky. Responsible Scaling Policy stanovuje pravidla pro hodnocení stále výkonnějších modelů a zpřísňování ochranných opatření podle jejich schopností. Firma 14. srpna 2026 zveřejnila také nový Risk Report, který popisuje rizika jejích systémů a připravenost společnosti na jejich zvládání. Bezpečnostní pravidla se tak postupně stávají součástí samotného konkurenčního vývoje největších AI laboratoří.
Hubinger Coxonovo varování veřejně podpořil. Pravděpodobnost, že by AI mohla během příští dekády zabít všechny lidi, osobně odhaduje na více než 10 %. Současně uvedl, že podle jeho názoru zatím neexistuje dostatečný plán pro vyřešení problému sladění případné superinteligence s lidskými cíli. Tak vysoký odhad přitáhl pozornost také proto, že přichází od člověka, který se bezpečností pokročilé AI profesně zabývá uvnitř jedné z nejvýznamnějších společností v oboru.
Kde začíná problém pojistitelnosti
Hubingerovo číslo představuje expertní odhad budoucího rizika bez opory v dlouhodobé škodní statistice. U události tohoto typu proto odhad vychází z odborného posouzení tempa technologického vývoje a současné úrovně bezpečnostních mechanismů. Rozpětí možných scénářů je mimořádně široké a jednotlivé odhady odborníků se výrazně liší.
Podobné obavy nejsou mezi odborníky na umělou inteligenci ojedinělé. Průzkum mezi 2 778 autory publikujícími na předních konferencích o AI ukázal, že podle způsobu položení otázky přisuzovalo 38 až 51 % respondentů alespoň desetiprocentní pravděpodobnost tomu, že pokročilá AI povede k výsledku srovnatelnému svou závažností s vyhynutím lidstva. Výzkum zároveň zachytil značnou nejistotu odborné komunity ohledně dlouhodobých dopadů technologie. Rozdílné názory tak existují i mezi lidmi, kteří současné systémy vyvíjejí a zkoumají.
Mohlo by vás zajímat: Podcast INSIA Inside #8: Rodinný byznys ve financích
Z pohledu pojišťovnictví představují nejzávažnější scénáře AI krajní podobu systémového rizika. Pojišťovny nemají k dispozici historickou škodní zkušenost, podle které by bylo možné spolehlivě stanovit četnost takových událostí a rozsah následků. Obtížná je také kumulace škod. Jeden technologický systém může současně zasáhnout podniky v různých zemích a výrazně omezit možnosti diverzifikace pojistného portfolia. Pro modelování podobných událostí proto nemusí postačovat postupy založené na tradiční škodní zkušenosti.
Pro pojišťovny jsou přitom mnohem bezprostřednější konkrétní dopady dalšího rozvoje AI. Patří mezi ně rostoucí schopnosti při kybernetických útocích, chyby autonomních systémů, škody způsobené nesprávným rozhodnutím modelu nebo otázky odpovědnosti firem, které AI vyvíjejí či používají. S rostoucím zapojením těchto systémů do podnikových procesů může postupně růst také potenciální rozsah jedné škodní události.
EIOPA na tento problém upozorňuje také ve svých analýzách finanční stability. Evropský orgán dohledu uvádí, že širší využívání podobných modelů může vést ke korelovanému chování finančních institucí a zvyšovat závislost na stejných externích poskytovatelích technologií. Mezi sledované oblasti patří rovněž samotná pojistitelnost škod způsobených AI. V červenci 2026 EIOPA zvýšila hodnocení digitalizačních a kybernetických rizik evropského pojišťovnictví na vysokou úroveň a mezi důvody zařadila také vývoj nejpokročilejších modelů umělé inteligence.
Evropská regulace už na systémová rizika pokročilé AI reaguje. AI Act stanovuje zvláštní povinnosti poskytovatelům obecných modelů, které jsou klasifikovány jako modely se systémovým rizikem. Musejí provádět hodnocení modelů a posuzovat možné systémové dopady. Legislativa po nich požaduje také evidenci závažných incidentů a odpovídající úroveň kybernetické ochrany. Evropský regulatorní rámec tak postupně vytváří konkrétní pravidla pro oblast, která se ještě před několika lety řešila převážně na úrovni dobrovolných bezpečnostních závazků technologických společností.
Mohlo by vás zajímat: Jaké byly největší pojistné trhy ve světě v roce 2025?
Od 2. srpna 2026 může Evropská komise pravidla pro poskytovatele obecných modelů AI vymáhat a při jejich porušení ukládat sankce. Pro evropský trh tak bezpečnost nejpokročilejších modelů získává konkrétní regulatorní rozměr. S dalším růstem jejich schopností lze očekávat, že se pozornost evropských institucí bude soustředit také na praktické fungování těchto bezpečnostních opatření.
Samotné pojišťovny současně řeší rostoucí využití AI uvnitř svého podnikání. Stanovisko EIOPA k řízení umělé inteligence v pojišťovnictví požaduje přístup založený na riziku a upozorňuje například na správu dat a kybernetickou bezpečnost. Součástí očekávání dohledu je také vysvětlitelnost systémů a zachování lidského dohledu. Vývoj AI se tak pojišťovnictví dotýká současně jako nový zdroj rizika i jako technologie stále více využívaná při jeho vlastním řízení.
Scénář vyhynutí lidstva zůstává extrémně nejistým odhadem budoucího vývoje. Pro pojišťovnictví má však současná debata konkrétní význam už dnes. Rychlejší rozvoj autonomních systémů může měnit kybernetická rizika a rozsah možných kumulací škod. Současně otevírá otázku, kde budou v budoucnu ležet hranice komerčně pojistitelného technologického rizika. Odpověď bude stále více záviset na tom, jak rychle porostou schopnosti samotných systémů a jak účinné budou mechanismy, které mají jejich používání držet pod kontrolou.
Komentáře
Přidat komentář