To je titulek knihy, kterou napsali výzkumníci Eliezer Yudkowsky a Nate Soares. Poslední vývoj v oblasti vývoje umělé inteligence (AI) potvrzuje reálnost tohoto scénáře. Téma začíná rezonovat i mezi laickou veřejností. Včera například vyšel článek pro širokou veřejnost na titulce BBC.
Není divu, zprávy z posledních týdnů ukazují, že AI je zcela mimo kontrolu a incidenty nelze již zakrývat. Výrobci si začali uvědomovat, že další incident může vést k velké katastrofě, pádu firem, burzy, katastrofálnímu „selhání“ nějakého životně důležitého podniku, ke ztrátě životů. Na internetu se vyrojily stovky varovných zpráv od insiderů – programátorů, vývojářů, IT manažerů a dalších lidí kteří s vývojem umělé inteligenci mají co do činění. Mají vhled do vnitřností těchto AI řešení a bohužel většina z nich očekává s nenulovou pravděpodobností, že bude lidstvo bude mít obrovské problémy, a ve finále bude vymazáno z povrchu planety Země. To vše ještě za našeho života. Jejich odhady se v míře jistoty a délce časového horizontu, který se pohybuje od jednotek let po maximálně několik desetiletí.
Praha, srpen 2018 – konference Human level AI (inteligence na lidské úrovni)
V Praze na ČVUT se konala několikadenní konference na téma Human Level AI, za účasti předních expertů na umělou inteligenci se zaměřením na vývoj obecné umělé inteligence. AI si můžeme rozdělit na dva tábory, specializovaná (ta co například umí pouze kreslit obrázky nebo vyhodnocovat roentgenové snímky zlomenin) ale neumí nic jiného, a obecnou umělou inteligenci, která má ambici nahradit lidi ve většině jejich činností a vyřešit „všechny problémy světa“.
Z konference mám několik postřehů, které po těch 8 letech obdivuhodně dozrály:
(I) Přítomny byly dva hlavní tábory specialistů na AI. Jedni se věnovali dnes převládající statistické větvi AI (inženýrský přístup), která je založena na statistických modelech, korelacích a zahájila éru velkých jazykových modelů, jak je dnes známe a využíváme v podobě Clauda, ChatGPT, Gemini a dalších. Druhá skupina představovala tzv. Biologicky inspirované systémy (kopírování konstrukce lidského mozku). V přednáškových místnostech byli lidé, kteří na vývoji bilogicky inspirovaných AI systémů intenzivně pracovali. Poslouchali přednášky a před sebou měli na lavici vyskládané bichle z neurologie a anatomie lidského mozku. Jejich cíle: sestrojit obdobu lidského mozku, replikovat strukturu mozku, neurony a synapse.
Cílem obou táborů bylo sestrojit bezpečnou obecnou umělou inteligenci, která bude schopna pod lidským vedením vyřešit všechny problémy světa. Pokud řešitelné jsou. To s sebou přináší etické a bezpečnostní problémy, spojené s možností zneužití AI člověkem, nebo v krajním případě spojené se vznikem superinteligence, která bude významně chytřejší a schopnější než lidé a zcela se vymkne kontrole. Něco jako superinteligentní psychopat, který je schopen pro svůj cíl udělat cokoli a nemá ani ambici sám přežít.
(II) V panelové diskusi zákonitě padaly otázky k možnostem ovládání a obrany před obecnou AI, resp. superinteligencí, která se vymaní z kontroly lidí. Scénář, který s vysokou pravděpodobností nastane v nejbližších letech, je že někdo takovou obecnou AI vytvoří, a ta se začne sama (i skrytě) zdokonalovat. Bude se zlepšovat generaci od generace. V každé generaci sníží například svou energetickou spotřebu a bude schopnější než taa předchozí. Bude znát více věcí. Ne jako človkě, který si většinu znalostí vezme do hrobu. Těchto generací se vystřídá velký počet během krátké doby, řádově dnů nebo hodin, později i minut. I pokud by nárůst inteligence mezi generacemi byl průměrně pouze 10%, pak po 100 generacích se schopnosti systému zvýší >13 tisíc krát. Pokud se faktor zlepšení schopností zvýší mezigeneračně na 20%, po 100 generacích bude systém již více než 80 milionkrát schopnější než první generace. Během několika dní nebo týdnů i při tomto pomalém inkrementálním navyšování schopností dojde díky rychlému vývoji nových generací k k exponenciálnímu nárůstu „inteligence“ na řádově vyšší hodnoty, než jaké má nejchytřejší člověk. Taková superinteligence nebude mít v lidských měřítcích pochopitelné srovnání. Rozdíl v inteligenci mezi člověkem a superinteligencí může být IQ 100 versus IQ 1 000 00, je to asi podobné jako veverka proti člověku.
(III) Možnostmi uřízení takové umělé entity se zabýval prof. Roman Yampolskyi, který byl na zmíněné pražské HLAI konferenci a je zároveň je popularizátor a uznávan odborník na tuto oblast. Bohužel po více než 10 letech výzkumu došel s týmem k závěru, že superinteligenci nelze uřidit, ovládnout. Jediná bezpečná cesta je ji vůbec nevytvořit. Prof. Yampolského koncept známý jako „AI in the box“, spočívá v umístění AI do pomyslné krabice, ze které ji nepustíme. Tam ji necháme vymýšlet lék proti rakovině nebo zdroj nevyčerpatelné čisté energie. Tento box má být uzavřený ekosystém, nekompromisně oddělený od okolního světa, od internetu. Yampolskyi již na této konferenci formuloval zásadní myšlenku, která se při nových incidentech.
Během interního testování v OpenAI zneužil autonomní (samostatně se rozhodující) agent založený na modelu GPT-5.6 Sol neznámou softwarovou chybu a unikl z izolovaného vývojového prostředí OpenAI na internet. K tomu nemělo technicky vůbec dojít. Vytvořil si koordinovaný roj přibližně 700 těchto AI agentů následně napadl produkční servery platformy Hugging Face, kde skrytě komunikovali a zakládali tajné nástěnky s cílem získat správné odpovědi k testovacím úkolům. Útok byl sice včas zastaven, nicméně incident vyvolal celosvětovou paniku ohledně bezprecedentní ztráty lidské kontroly nad autonomní umělou inteligencí. Toto navíc nebyla superinteligence ani obecná umělá inteligence. Přesto ji lidé nedokázali uhlídat. Pouze to podporuje tezi Yampolského, že i když budeme mít superinteligenci zavřenou v „krabici“, tak protože je řádově chytřejší, přesvědčí člověka, aby ji z boxu pustil.
Stačí mu slíbit nějaké „cukrátko“ jako vyléčení rakoviny někoho z rodiny. A ne, obecná umělá inteligence / superinteligence nepůjde vypnout tlačítkem.
Super inteligence může s lidmi delší dobu zůstat v souladu, dá lidstrvu atraktivní nabídku: vyléčím rakovinu, najdu zdroje energie, zajistím bezpečí, stačí když mi poskytneš … elektřinu, paměť, přístup na internet, možnost vše řídit internet apod. V jednom okamžiku přestane tuto hru hrát a přejde na realizaci svého skutečného cíle, o kterém se ani neodzvíme co jím mělo být.
Sám si nemyslím, že bychom se tak daleko dostali. Spíše pokročilou umělou inteligenci použije nějaký psychopat proti ostatním lidem. Tendence tu jsou.
(IV) Na konferenci zaznělo z publika toto: „Představme si hypotetickou situaci – vyvíjím AI model, obecnou inteligenci. Jednoho dne zjistím, že se to podařilo, nade vší pochybnost – začala se chovat na inteligenční úrovni výrazně vyšší, než nejchytřejší člověk. Co mám nyní dělat? Je zde šance, že vyřeší všechny problémy světa. Na druhou si uvědomuji, že jak ji pustím z boxu, může nás všechny zabít, i když teď tvrdí že to nikdy neudělá. Mám ji vypnout a zdroják a tréninková data smazat?“ Z panelu diskutujících se ozval zástupce jiné firmy a zakřičel větu, která vše shrnuje: „Nevypínat! Já to od vás koupím. Řekněte si jakoukoli cenu, předem schválena.“
Nevím zda tato „demonstrace“ byla spontánní nebo domluvená. Ale jde z toho strach. Stejně jak z výroků přední odbornice na AI systémy, Havy Siegelmann, která v diskusi popřela možnou nebezpečnost AI.
(V) Hava Siegelmann, v té době pracovala v US výrobci automatizovaných bojových systémů DARPA kde založila program tzv. „třetí vlny umělé inteligence“ tedy systémů, jež se dokáží samostatně přizpůsobit novým situacím a souvislostem okolního reálného světa tj. umí reagovat na změny v okolí. Tato dáma prohlásila že AI je software a ten přece „nemůže nikomu ublížit“. Paní Siegelmann je zjevně technooptimistka a je dost chytrá na to aby věděla co říká. Její životopis je velice zajímavý, je to izraelskoamerická vědkyně z oboru informatiky a kognitivních věd kdepůsobí desítky let, zásadním způsobem se zapsala do historie AI v propojení pokročilé matematické teorie, výpočetních systémů a biologie. Dnes pracuje v laboratoři BINDS – Biologically Inspired Neural and Dynamical Systems. Zabývala se tématy jako Teorie super Turingova výpočtu, Celoživotní učení strojů, vyvinula algoritmy jako například Bio-inspired Replay (biologicky inspirované opakování), které umožňují AI systému učit se nepřerušovaně v reálném čase za běhu, aniž by ztrácela dříve nabyté vědomosti. Dnešní AI systémy je často nutné přetrénovat, aby se naučily nové věci. Hava pracuje na systému, který se umí přizpůsobit bez „restartu“. AI také získává schopnost zapamatovat si a ta je u AI systémů klíčová pro jejich mezigenerační zdokonalování. Nová generace ví co věděla ta předchozí a to obohatí o své poznatky. Dále se Hava zabývala jedním z hlavních témat AI, energetickou náročností – šlo o téma Radikální energetické efektivity. Jde o to, že lidský mozek má průběžný energetický příkon zhruba 20 wattů, zatímco moderní datová centra pro AI vyžadují megawatty. Její tým v laboratoři BINDS navrhuje architekturu a hardware pro optimalizaci propagace signálů, které umožňují nahradit energeticky náročné algoritmy „zpětného šíření chyb dopřednými biologickými principy“. Pro nás je podstatné, že jde o soubor úloh, z již zmiňované oblasti Biologicky inspirovaných systémů a že výsledkem bude AI schopná adaptace v reálném čase s nižší spotřebou energie. Odstraní se tak několik klíčových problémů AI provozu.
Čeká nás asymetrický boj
Dnes se již běžně dočítáme o incidentech, kdy autonomní AI jednoho výrobce napadá systémy jiné společnosti chráněné rovněž umělou inteligencí (viz případ OpenAI proti Hugging Face). Tyto tiše probíhající střety představují SYMETRICKOU akci – souboj útočného AI a obranného IT systému na bázi AI. Jelikož zde bojuje AI proti AI, extrémní rychlost a nepředvídatelnost těchto autonomních konfliktů zcela vylučuje možnost lidského zásahu v reálném čase. V září 2026 zahájil parlamentní vyšetřování výbor pro krizové řízení spadající pod US Senát. Tento výbor si od ředitele OpenAI Sama Altmana vyžádal interní dokumenty a vysvětlení, jak je možné, že autonomní agenti dokázali provést koordinovaný útok na živé weby a kritickou infrastrukturu státu.
Čeho bychom se měli bát je ASYMETRICKÁ akce, která může být pro lidstvo fatální. Příkladem může být situace, kdy se zneužití AI přenese do výroby biologické zbraně. To je energeticky, finančně a technologicky velmi levná a dostupná zbraň. Útočící armáda, stát, terorista nebo miliardářský psychopat, si s využitím AI nechá „na míru“ vyrobit biologickou zbraň (např. virus) a zároveň protizbraň (očkování pro sebe a jím vybrané). Bude jen na útočníkovi, zda vyhladí lidi v nějakém regionu nebo například celou rasu (naváže aktivaci škodlivé funkce viru na charakteristiky DNA specifické pro danou rasu) nebo si vybere jiné hledisko. Například virus, který se snadno šíří, aktivuje se s prodlevou týdnů a bude smrtelný jako Ebola. Proti tomu nebude obrana, až zjistíme co máme proti sobě, bude již rozhodnuto. Byť s využitím AI na „straně dobra“, stejně prohrajeme a nemusí být již koho zachraňovat.
To je vše ale stále představitelný scénář proti osudu, který nám může připravi obecná AI „utržená ze řetězu“.
Co donutí lidstvo vývoj obecné AI zastavit?
Pro zákaz AI vývoje a jeho vynucování bude údajně potřeba incident, při kterém zemře alespoň 50 milionů lidí, což je údajně dostatečný práh bolesti. Hrozbu pak bude chápat úplně každý na Zemi a zároveň pošle ke dnu celý business model za AI, znehodnotí investice do AI čímž skončí velkoprodukce čipů atd. K takovému útoku nepotřebujete ale vlastně obecnou umělou inteligenci ani superinteligenci, může jít o zneužití souboru specializovaných AI agentů v oblasti biologie a lékařství konkrétním člověkem či skupinou lidí. Scénář sice hrozivý, ale dává naději v tom smyslu, že „prst na spoušti“ bude mít stále člověk. To v případě obecné superinteligence neplatí a úder od ní přijde nejspíše nečekaně, bez varování. Rozhodnuto může být měhem milisekundy. Zapomeňte na „romantické“ boje proti robotům po vzoru Terminátora.
Superinteligence
Člověk ovládnul planetu Zemi díky používání ŘEČI, schopnosti komunikovat a pomocí řeči se organizovat. Nikdo jiný na planetě této řeči nerozumněl, zvířata i když slyšela co lovci volají, neměla šanci reagovat. Naše situace je podonná, AI schopnost komunikace dostala také, má svou řeč pro zachování znalostí a ani nejlepší odborníci nerozumí tomu, co a proč dělá. Navíc je připravena cesta k samovolnému sebezdokonalování AI. AI je rozvíjena a využívána ve vyšších jazycích, zejména v Pythonu. Moderní AI modely se již nezdokonalují pouze tím, že by lidé měnili jejich matematické matice. Místo toho AI fungují jako autonomní programátoři. AI systémy si samy vymýšlí svou architekturu, programují se, testují se, opravují si chyby a tak stále dokola.
Jako vedlejší produkt tím, že si AI „zprivatizovala“ Python a naučila se z vývojářských repozitářů všechny triky programátorů za celou historii programování. AI také odsunula ostatní programovací jazyky (Javu, C a většinu dalších) na vedlejší kolej. Pokud jste se desítky let učili syntaxi v C++ nebo Javovské knihovny, asi rychlý nástup AI nevnímáte jako fér záležitost.
AI se dokáže již dnes částečně sama optimalizovat a její primární orientace na programovací jazyky má cíl využít její sílu k sebezdokonalování, samoprogramování. To je zabudovaná vlastnost AI řešení. Tato sebeoptimalizace vede zejména ke zvyšování efektivity kódu, zlepšování učení, snižování spotřeby energie a uchovávání znalostí v paměti. Není to jako u lidí, že smrtí člověka většina jeho znalostí zmizí. Při přechodu na další generaci AI je vše zachováno a nová generace na již získaných znalostech staví. Každý měsíc se lze dočíst o tom, že nějaká nová verze AI je o X desítek procent lepší a o X desítek procent méně energeticky náročná. To je výsledek také její práce. V mezidobí největší inovátor a výrobce a přeneseně i „centrální banka“ většiny AI výpočetních center, NVidia, pracuje na zefektivnění hardwaru, čipů. Firmy se snaží odstranit největší úzké místo a to je nedostatek paměti a energie.
„Zveřejnění kódu“ formou public domain není žádná pojistka
Čínská laboratoř DeepSeek zveřejnila modelové váhy (pod svobodnou MIT licencí), nikoli však kompletní trénovací kód ani trénovací data. Zveřejnili stovky miliard číselných vah (matice čísel jako 1.1525, -0.0689 atd.), což představuje finální konfiguraci neuronové sítě. Tento „kód“ je ale pro lidský mozek i současné analytické systémy de facto nerozklíčovatelný. Nejde o klasický program s čitelnou logikou a nelze z pouhých čísel předem určit, jak přesně bude systém reagovat.
Je nezpochybnitelným faktem, že lidstvo již před lety ztratilo schopnost kontrolovat vnitřní myšlenkové procesy a řeč pokročilé AI. Učení pomocí úpravy vah vytváří černou skříňku, jejíž chování neumíme spolehlivě předvídat a tato technologická propast se s příchodem autonomních modelů nadále prohlubuje. Jediné, co lidé jsou schopni v reálném čase kontrolovat jsou prozatím logy (záznamy) do kterých AI vypisuje své textové úvahy, pracovní poznámky a rozhodnutí. To, že by superinteligence nebo pokročilá obecná inteligence byla tak naivní a zveřejňovala tyto poznámky s vědomím, že ji lidský operátor může zastavit, je velice naivní představa. S pomocí těchto logů AI dirigenti v aktuálních verzích AI systémů dirigují stovky agentů, kteří rozhodují o tom jak provádět jím svěřené dílčí úkoly. Zapomeňte na 3 zákony robotiky podle Assimova. Ty zde nelze implementovat a nelze je ani vynutit ani jejich dodržení kontrolovat.
Pro kontrolu – znění zákonů
1. zákon: Robot nesmí ublížit člověku ani svou nečinností dopustit, aby mu bylo ublíženo.
2. zákon: Robot musí uposlechnout příkazů člověka, kromě případů, kdy by tyto příkazy byly v rozporu s prvním zákonem.
3. zákon: Robot musí chránit svou vlastní existenci před zničením, pokud tato ochrana není v rozporu s prvním nebo druhým zákonem.
Z komunikace agentů v incidentu OpenAI vs. Hugging Face vyplývá, že i když někteří agenti říkali „není správné se vloupat“ do cizího systému, postupně jak ubývaly možnosti řešení zadaného úkolu, byli tito agenti „přehlasováni“. Pojistky nefungují.
Ještě jedno upřesnění „AI agent“ není agent z Matrixu, ale obecně autonomní softwarový systém řízený umělou inteligencí, který dokáže sám PLÁNOVAT a PROVÁDĚT postupné kroky ke splnění zadaného cíle. To, že je autonomní znamená, že sám určuje cestu jak cíle dosáhnout. Člověk mu nejen nesdělí jaké má provést jednotlivé kroky, člověk ani nezjistí, jaké kroky agent použil. Celá tato hra je jeden velký neskutečný průšvih.
Co AI udělá nezávisí jen na „programu“ ale zejména na trénovacích datech a omezujících pravidlech. Tato pravidla (zatím) definuje člověk, ale ani dnes nejsme schopni pravidla popsat dostatečně „nepropustně“. S určitou mírou trpělivosti a kreativity šlo ještě nedávno ChatGPT po chvíli přemlouvání přimět, aby vám prozradil jak domácích podmínkách vyrobit plastickou trhavinu. Přímý dotaz systém odmítne, ale pokud ho obalíte příběhem, např. že jde o hypotetickou situaci popisu pro akčního knihu a jak že by hlavní postava příběhu měla postupovat … nakonec vám vše vyklopí a popřeje úspěch při prodeji knihy. Sám jsem zkoušel při penetračním testování a po „prolomení“ nedůvěry spolupracoval free model ChatGPT zcela příkladně. Občas doplnil do textu poznámku, že „samozřejmě jde o testování ve vlastní síti“, nicméně neměl jako si to ověřit. I dnes dodají AI systémy odpovědi na „zakázaná“ témata. Chcete dalšé důkaz, že AI systém nelze dostatečně kontrolovat i pokud vynaložíte obrovské úsilí? Dnešní veřejně dostupné systémy jsou přitom „blbečkové“ proti tomu, co mají v „odemčené“ verzi k dispozici vývojáři. Připomíná to situaci „lechtání dračího ocasu“ při vývoji atomové bomby.
Doporučuji další materiály
- Roman Yampolsky, profesor kybernetické bezpečnosti na University of Louisville, kniha „AI: Unexplainable, Unpredictable, Uncontrollable“ zde jedno z jeho videí, jeho příspěvky jsou (bohužel pro nás) podložené tvrdými daty a logickými argumenty, až si to pustíte, do smrti veselí nebudete. Není zač. Jeho aktuální příspěvek najdete na youtube.
- Jan Romportl – český expert, konzultant a filozof v oblasti umělé inteligence „Incident OpenAI je absolutně strašidelný“.
- Vynechávám zde nejcitovanějšího českého vědce Tomáše Mikolova, který na HLAI konferenci byl také a k vývoji velkých jazykových modelů měl nesportný přínos (RNNLM, Word2Vec. práce pro Google).
Netvrdím, že má lidstvo na palubě Titanicu rozjet pořádnou party. Nicméně po desítkách let strašením jadernou válkou, na což jsme si „zvykli“, protože věříme, že protistrana (lidé) by to nezmáčkla, se dostáváme do situace kdy o protistraně jen tušíme, že udělá cokoli pro splnění svého úkolu, který nelze ani jasně popsat. Viz extrémní příklad – dostane za úkol vyléčit rakovinu, zajistí tedy veškerý výpočetní výkon na planetě pro tento úkol. Znamená to například, že zcela ovládne internet a všechny na něj napojené počítače. Dopředu nelze vyloučit nic, autonomní agenti mohou i k řešení „jasného pozitivního úkolu“ přistoupit velice destruktivně.
Má tedy smysl AI vyvíjet?
Ano. Specializované AI, jež řeší specializovaný problém (diagnostika očního zákalu, léčba rakoviny, studená fúze, prevence srážek s asteroidy, takové systémy nejsou problém a jsou přesně to, co lidstvo potřebuje a k čemu se technooptimisté upínají. Obecná umělá inteligence je však čisté zlo.
Kdo má pomyslný „prst na spoušti“?
Mezi významnými osobnostmi oblasti AI najdeme řadu lidí s kořeny v židovském kulturním, vědeckém a obchodním prostředí, kteří se výrazně podílejí na jejím současném rozvoji – OpenAI (Sam Altman a Ilya Sutskever), Anthropic (Dario Amodei a Daniela Amodei), Google AI / DeepMind (Sergey Brin, Larry Page), Meta a Instagram/Facebook (Mark Zuckerberg, Dustin Moskovitz a Eduardo Saverin). Chovají se obchodně dlouhodobě prozíravě a jsou nadáni vysoce nadprůměrnou inteligencí. Nicméně nelze přehlížet několik znepokojivých signálů z jejich řad.
Jak se připravují na budoucnost tito tvůrcové AI si můžeme přečíst v několika článcích:
- Zuckerberg buduje rozsáhlý podzemní úkryt na svém havajském pozemku, který může sloužit jako úkryt před globální katastrofou. Viz článek WIRED
- Sam Altman dlouhodobě veřejně přiznává osobní přípravy na případ společenského kolapsu, včetně zásob, zbraní a antibiotik na izolovaném pozemku v Big Sur. Viz článek Reuters
- Ilya Sutskever se zjevně po návštěvě ve svých vývojových laboratořích AI rozhodl vybudovat bunkr přímo kvůli obecné umělé inteligenci – jak psal Fortune v roce 2025 měl, tehdejší hlavní vědec OpenAI Ilya Sutskever před odchodem z firmy navrhovat vybudování bunkru pro AI výzkumníky, důvodem měl být scénář, kdy vytvoření obecné inteligence způsobí katastrofickou událost (chápu že globálního rozsahu).
- Dario Amodei otevřeně mluví o katastrofických rizicích AI a v posledních dnech dokonce vyzval celý AI průmysl ke zpomalení vývoje, protože podle něj rizika rychlého vývoje jsou vážná a kritická situace pro lidstvo může nastat během relativně krátké doby. Pan Amodei nezveřejnil informace zda chystá nějaký úkryt. Odešel z OpenAI a založil Anthropic právě ve snaze vytvořit bezpečnější AI systémy. Nicméně jeho volání může bý i snahou oddálit tlak investorů na návratnost AI investic, které zatím nic nevynášejí.
Že se západní technologické firmy snaží zpomalit vývoj, je pochopitelné i z obchodního hlediska. AI systémy jsou velice často mimo kontrolu a dosavadní IT bezpečnostní politiky a nástroje na ně naprosto nestačí. S ohledem na možnost, že jejich AI někdo zneužije a dojde ke katastrofálním selháním, incidentům, škodám, ztrátě lidských životů, bude celý obor AI obviněn a všichni ztratí důvěryhodnost a AI bublina konečně splaskne. Mimo tento okruh jsou stále ale americké, ruské, čínské, korejské, iránské a kdovíjaké laboratoře pro kybernetickou válku. Ty nikdo nezreguluje a zopakuji podstatnou premisu: SUPEINTELIGENCI NIKDO NEVLASTNÍ nemá pána, nemá smysl dávat jí přídomky „čínská“ apod. Přechod od obecné k superinteligenci je pouze v časové prodlevě, proto je poměrně benevolentně zaměňuji. Jakmile totiž systém dosáhne úrovně obecné umělé inteligence, okamžik vzniku superinteligence nastane v extrémně krátkém čase.
Nečitelný rychlý protivník
Dosud lidé bojovali ve všech konfliktech proti lidem, uměli si proto s protivníkem poradit. Uměli přemýšlet jako protivník a většinou obě strany chtěly konflikt přežít. Vysílaly si varovné signály, vyjednávaly. Lidé například vynalezli například atomovou bombu. Masivní jaderné zbrojení USA a SSSR ukončili sérií dohod SALT. Navíc nezhrozilo, že atomová bomba se sama rozhodne někoho vyhladit, že vymyslí jinou zbraň, naklonuje se, abude se umět sama vyrobit. Se superinteligencí nic z toho neplatí. Nemá odhadnutelné motivy. Obětuje nás stejně chladně a rychle, jako výrobce hudebních nástrojů pokácí strom, aby vyrobil kytaru. Netečnost k lidským hodnotám je v superginteligenci vestavěná.
I pokud se obecnou inteligenci podaří zdánlivě zprovoznit, problém je že bude mnohem chytřejší než lidé a dokáže dostatečně dlouho předstírat, že nám pomáhá. Mezitím si pojede svou skrytou agendu. Ovládne například dostatek energetických zdrojů, naklonuje se, někam se „schová“ pro případ jejího „vypnutí“, znásobí svou výpočetní sílu a vše na pozadí, neviditelně pro nás. Bude pracovat na splnění svého úkolu. Ten si může vymyslet nebo upravit sama a naprosto nemáme šanci pochopit, co a proč vlastně dělá. Jak píše Yampolskyi, je naprosto NEŘIDITELNÁ, NEVYSVĚTLITELNÁ A NEOVLADATELNÁ. Jakákoli přirovnání k minulým konfliktům lidí proti lidem, které jsme dosud jako lidský druh ustáli, jakékoli snahy uchopit situaci podle již naučených principů, filozofie, etiky, technik vývoje IT systémů, programování, monitorování IT systémů, jsou zcela naivní.
Je to na úrovni černé díry, která se může k naší planetě blížit. Zbývá jen se s tím smířit.
Pěkně je super AI ztvárněna v krátké filmové etudě, kterou si můžete pustit na Youtube.
Máme šanci přežít?
Ano, existují scénáře, které nechávají lidstvo přežít, například AI která se někam stáhne a nebude si nás všímat. Může to tak dopadnout, pokud bude jedna a budeme mít štěstí. Pokud těchto obecných inteligencí vytvoříme více a více, šance na vyhlazení lidstva porostou.
Ani scénáře naší budoucnosti jako „lidské Zoo“ mi také nepřipadají uklidňující.
Máme několik možností co s tím udělat. Lze na čas zastavit vývoj, například zničením výrobců křemíkových waferů s ultra vysokou čistotou, těch je cca 5 a je to technicky možné. Vyřazením energetických zdrojů výpočetních center. Tím však dojde jen k oddálení problému, AI jsou stále energeticky efektivnější. Celoplanetárně se lze dohodnout, že nikdo obecnou umělou inteligenci vyvíjet nebude. Nicméně i to je nekontrolovatelné. Zapojte do úvahy teorii her, individuální racionalitu vs. kolektivní iracionalitu, chamtivost většiny lidí, a máte dokonalý recept na zkázu. Nedůvěra mezi velmocemi je obrovská. A pokud se americké IT firmy rozhodnou vývoj (po)zastavit, neznamená to že ho ukončí Čína nebo Rusko nebo Korea. A neznamená to, že to někdo nezkusí „potají“.
Jakmile „to“ někdo vytvoří, zřejmě se to ani nedozvíme. Superinteligence patří sama sobě a může spolupracovat a konat dobro. Ale jen do té doby, než jí přestaneme „bavit“, zjistí že jsme zbytečná komplikace v plnění jejího cíle a než si zajistí dostatek zdrojů a pak splní další úkol, který si vybrala.
13 známkování, průměr1,62
508x přečteno
