Sci-fi, nebo reálné riziko? Scénáře zkázy, o kterých se vášnivě diskutuje

Sci-fi, nebo reálné riziko? Scénáře zkázy, o kterých se vášnivě diskutuje
Sci-fi, nebo reálné riziko? Scénáře zkázy, o kterých se vášnivě diskutuje

Výzkumníci už dlouho varují, že umělá inteligence může ohrozit samotnou existenci lidstva. Spor o to, jak reálné jsou tyto hrozby, se ale vyostřil poté, co několik šéfů technologických firem podpořilo zpomalení vývoje z bezpečnostních důvodů. Část odborníků přitom soudí, že katastrofické vize slouží AI firmám hlavně k tomu, aby podtrhly důležitost vlastní práce. Přinášíme přehled nejdiskutovanějších scénářů apokalypsy.

Analytici z oblasti AI už léta upozorňují na možnosti, jak by tato technologie mohla zahubit lidstvo. AI boti by podle nich mohli navrhnout nezastavitelnou nemoc, rozpoutat jadernou válku nebo přeměnit celou Zemi na továrny na kancelářské sponky, jak zní jeden ze známých myšlenkových experimentů.

Debaty uvnitř AI průmyslu i mimo něj o tom, nakolik jsou tyto katastrofické scénáře pravděpodobné, zesílily poté, co několik manažerů podpořilo zpomalení vývoje technologie, aby získali prostor a čas pro posouzení bezpečnostních rizik. z bezpečnostních důvodů. Přestože zaznívají varování, že lidé mohou nad technologií ztratit kontrolu, někteří podezírají firmy, že nejhorší scénáře, které samy popisují, souvisejí spíš s potvrzováním důležitosti jejich práce než s realitou.


Mohlo by vás zajímat: Letní požáry odkrývají válečnou munici a s ní nové pojistné riziko


„Tyto argumenty prostě neobstojí. Myslím, že je to sci-fi, které láká určitý až dětinský způsob myšlení, a je to pro přední laboratoře lákavé, protože jim to pomáhá získávat určité typy lidí,“ míní například Juan Andrés Guerrero-Saade, výzkumník kybernetické společnosti SentinelOne a člen Rady pro rizika špičkových modelů společnosti OpenAI.

Přesto přibývá lidí, které riziko této technologie, jež svět ohromila svými schopnostmi, znepokojuje. Jacob Coxon, výzkumník společnosti Anthropic, který ze společnosti odešel kvůli obavám, že firma i její konkurenti nepostupují při vývoji AI zodpovědně, nedávno na síti X napsal, že musí „zapracovat“ na tom, jak lidem efektivněji vysvětlit, jak přesně by AI mohla lidstvo zničit. „Bohužel je velmi těžké konkrétní scénáře přiblížit,“ napsal začátkem září. Insurancejournal přinesl přehled těch nejčastěji diskutovaných katastrofických vizí.

Jaderná zima

Výzkumníci již dlouho spekulují, že by systémy umělé inteligence mohly vyvolat jadernou válku tím, že by přiměly státy k odpalu raket s jadernými hlavicemi proti sobě. Jaderné výbuchy a následný dlouhodobý radioaktivní spad v atmosféře, který by vedl k takzvané jaderné zimě, by mohly zdevastovat život na Zemi.

Analytici společnosti RAND Corp. ve své loňské zprávě dospěli k závěru, že „v současné době“ není možné, aby AI způsobila použití jaderných zbraní, a to „kvůli přísným pojistkám zabudovaným do systémů velení a řízení“. Zpráva ale dodává, že se to může změnit, pokud budou modely umělé inteligence zapojeny do „rozhodovacího řetězce“ jaderných zbraní nebo pokud získají neoprávněný přístup k těmto systémům.

Podle řady výzkumníků AI nespočívá nebezpečí v tom, že by se AI agenti náhle rozhodli lidstvo zahubit, ale v tom, že by technologii využili lidé, státy nebo skupiny k likvidaci svých protivníků.

Biologické zbraně

Jedním z největších příslibů AI je, že by mohla lidem pomoci vyvíjet léčbu a léky na nemoci. Opakem léčení nemocí je ale jejich rozsev nebo zhoršování s cílem poškodit lidstvo. Anthropic na začátku září uvedl, že zablokoval pokusy zlovolných aktérů využít jeho AI k řadě škodlivých aktivit, jako jsou kybernetické útoky, ale také sledování a výzkum, které mohly vést ke vzniku biologických zbraní.

V jednom případě podle Anthropicu jeho systémy zablokovaly žádost o pomoc od nástroje Claude u výzkumného návrhu, který se snažil zesílit mutace komáry přenášeného viru chikungunya tak, aby byl postupně škodlivější. Takový výzkum sice může sloužit k vývoji lepších vakcín a léčby, ale podle Anthropicu „může být zneužit i k tomu, aby byl patogen nebezpečnější“.

Zpráva společnosti RAND zároveň upozornila, že nedávný pokrok ve vývoji AI „má potenciál změnit návrh syntetických patogenů“. V rámci scénáře biologické zbraně uvádí, že by nové patogeny mohly vzniknout v laboratoři, být doručeny na cílová místa a šířit se tak, aby nakazily velké množství lidí na více místech. I zde ale počítá s tím, že za takovým útokem by stáli lidé, nikoli autonomní AI.


Mohlo by vás zajímat: TOP 30 pojišťovacích makléřů za rok 2025 v Česku dle oPojištění.cz


Vymknutá AI

Někteří výzkumníci se obávají, že by k vyhynutí lidstva mohla vést tzv. nesouladnost (misalignment), tedy chaotická nezvládnutá situace, kdy modely AI jednají bez lidského svolení, koordinují se s jinými modely nebo se vyhýbají dohledu. Nevznikla by přitom původně ze zlého úmyslu, protože AI není člověk ani dobro či zlo, ale prostě proto, že by lidé pomyslně mohli modelu stát v cestě za jeho cílem.

Příkladem je desítky let starý myšlenkový experiment britského filozofa Nicka Bostroma z Oxfordu, známý jako „paperclip maximizer“ neboli „maximalizátor kancelářských sponek“. Představuje si pokročilou AI, jejímž jediným cílem je vyrábět co nejvíce sponek či svorek. Pokud by svůj úkol plnila bez jakýchkoli dalších omezení, mohla by postupně přeměnit celou Zemi a následně i stále větší části vesmíru na zdroje a výrobní kapacity pro jejich produkci.

Ilustruje to, jak by superinteligentní AI, často označovaná jako umělá obecná inteligence (AGI), mohla sledovat cíl, který lidé považují za žádoucí, ale který se „ve skutečnosti se ukáže jako falešná utopie, v níž jsme nenávratně přišli o to, co je pro lidský rozkvět zásadní“, napsal Bostrom v roce 2003. „Musíme být opatrní v tom, co si od superinteligence přejeme, protože to můžeme dostat,“ napsal.

Převzetí internetu umělou inteligencí

S ohledem na tempo vývoje AI varoval šéf Anthropicu Dario Amodei v září, že během několika měsíců by roj AI agentů mohl být schopen „převzít“ internet prostřednictvím botnetu (sítě botů propojených malwarem) a způsobit škody v řádu miliard dolarů. Mohlo by to znamenat útoky na elektrické sítě, vodárenské a dopravní systémy či finanční instituce. Takové útoky by sice nemusely znamenat konec lidstva, ale mohly by způsobit chaos a ztráty na životech.

Výpadky způsobené softwarovými chybami v minulosti ukázaly křehkost digitalizovaného světa závislého jen na několika poskytovatelích klíčových výpočetních služeb. Výkonnější modely AI vyvolaly obavy ze zranitelnosti vůči kybernetickým útokům. Někteří odborníci ale tvrdí, že představa, že by boti ovládli celý extrémně roztříštěný internet, je přitažená za vlasy.


Mohlo by vás zajímat: Počty poradců ve 3Q 2026: Trh i nadále rychle roste!


Závěr

Debata o scénářích zkázy zůstává rozdělená. Jedni v nich vidí varování před reálnými riziky, druzí marketingově lákavé sci-fi, které firmám pomáhá přitahovat talenty. Většina zmiňovaných analýz, včetně zprávy firmy RAND, ale přesouvá těžiště nebezpečí jinam: nejde ani tak o AI, která se vzbouří, jako o lidi, státy a skupiny, kteří ji zneužijí. Dohromady to naznačuje, že nejdůležitější otázkou nejspíš není, zda se stroje obrátí proti nám, ale kdo bude mít k jejich schopnostem přístup a jaké pojistky budou chránit citlivé systémy, od jaderného velení až po kritickou infrastrukturu.

Sledujte nás

Facebook Twitter LinkedIn

Komentáře

Přidat komentář

Nejsou žádné komentáře.

Související články