Čas terminátorů. Umělá inteligence ve válce

Nejznámější bojové drony používá v současnosti americké letectvo. Tyto stroje, pojmenované Predator a Reaper, jsou ale jenom jakási větší verze letadel na dálkové ovládání. Jejich piloti s nimi udržují datové spojení a řídí je na dálku – tak trochu se to podobá létání v simulátoru. Pilot sice stroj vydrží ovládat o něco déle než klasické letadlo a jeho vystřídání je jednodušší, ale nároky na něj jsou stále vysoké. Proto se u průzkumných strojů, jako je například stroj Scan Eagle, které využívá i česká armáda, přikročilo k větší automatizaci. Tyto stroje se ovládají už pomocí „klávesnice a myši“. Jejich operátor určuje jednotlivé body trasy a zadává letadlu jednoduché úkoly jako „leť sem, tady kruž a sleduj tuto oblast“, které dron plní. Problém nastává ve chvíli, kdy je z nějakého důvodu ztížený příjem signálu.

Autonomie

V prostředí se silným elektromagnetickým rušením nebo například pod mořskou hladinou – protože zdaleka dnes nejde jen o letadla – je přímé předávání povelů poměrně složité. Pak je velmi výhodná autonomie, tedy nezávislost na lidském činiteli. Podstatné je určit, čeho se autonomie týká (například řízení, míření, střelby…) a jakým způsobem má člověk možnost do děje zasáhnout.

V základu můžeme rozlišit tři druhy autonomie v závislosti na zapojení člověka. Zaprvé, že stroj vyžaduje pro každý svůj další krok lidský souhlas. Zadruhé, že stroj provádí činnost do doby, než mu člověk nařídí jinak. A zatřetí, že je stroj na člověku plně nezávislý – tedy alespoň v tom smyslu, že už do jeho úkonů od zadání úvodních požadavků do splnění úkolu nemá možnost zasáhnout. Právě bojové prostředky se silným zastoupením tohoto třetího druhu autonomie, zvláště pokud jde o akce v pomyslném sledu pozorování – vyhodnocení – reakce (útok), dnes vzbuzují velké obavy.

Institut komunikačních studií a žurnalistiky

Zdroj: IKSŽ FSV UK

Článek je součástí série textů, které ve spolupráci s Finmagem připravili studenti Institutu komunikačních studií a žurnalistiky Fakulty sociálních věd Univerzity Karlovy v rámci kurzu Zpravodajství umělé inteligence. Aktuální dění na institutu a další studentské práce můžete sledovat na Facebooku nebo Instagramu.

Zatím vyšlo

Roboti a žurnalistika
Rozhovor Anny Mikolandové a Barbory Součkové s Václavem Moravcem

... a robot zábavně odpoví
Rozhovor Alžběty Holcové s programátorem chatbotů Janem Pichlem

Čas terminátorů
Umělá inteligence a smrtící zbraně v analýze Lukáše Skládala

Proti deepfake videu umělou inteligencí
Rozhovor Martiny Arltové o tom, proč nevěřit vlastním očím

Autonomní zbraně

Zbraně, které jsou schopny samostatného vyhodnocení a zničení cíle, existují už dnes a známe je mnoho desetiletí. Patří mezi ně třeba pozemní mina. Pravda, spíš než ona nepřítele si najde nepřítel ji, ovšem k jakémusi základnímu vyhodnocení na základě tlakových senzorů a následnému rozhodnutí – vybouchnout, či ne – dochází bez zásahu člověka.

Pokud bychom se chtěli poohlédnout po sofistikovanějším zařízení, opět je můžeme nalézt poměrně hluboko v minulosti. Za druhé světové války začaly posádky německých ponorek využívat akusticky naváděná torpéda, která krátce po svém vypuštění automaticky zamířila k nejbližší (nebo spíš nejhlasitější) lodi v dosahu. Po jejich vypuštění už posádka nebyla schopna jakkoliv ovlivnit, jaký cíl si vypuštěné torpédo vybere, a její členové jen doufali, že to nebude jejich vlastní ponorka. V současné době je pak výborným příkladem takové zbraně izraelský „sebevražedný dron“ Harpy, který je schopen ve vymezené oblasti sám vyhledat a zničit nepřátelské radary. Jak vidno, plně autonomní zbraně nejsou až takovou novinkou. Proč je tedy jejich provoz tak kontroverzní?

Schopnosti, chyby, nehody

Většina dosavadních autonomních zbraní využívá při zaměřování cíle aktivních signálů, které cíl vysílá (jako už zmiňovaná německá torpéda a dron Harpy), nebo útočí na cíle, které jsou proti svému pozadí poměrně snadno rozeznatelné, jako jsou například lodě či letící letadla. Že to není bez problému, naznačil už příklad s německými torpédy. Nebylo to jiné ani čtyřicet let po válce: v 80. letech 20. století mělo námořnictvo Spojených států k dispozici upravenou protilodní verzi střely Tomahawk, která byla po vypuštění schopna rozeznat svůj cíl a zasáhnout jej. Nikdy ji ale nepoužilo v boji. Důvodem byl strach, že střela omylem zasáhne civilní nebo spřátelené plavidlo.

Jak jde dohromady byznys a medicína? Dočtete se v novém Finmagu

Zdroj: Finmag

MEDICÍNA A BYZNYS

Jak venkovští praktici nepřicházejí o iluze • Ženy mění medicínu • Nejstarší pražská nemocnice objektivem Alžběty Jungrové • Nejdražší léky na světě • Obézních přibývá, Česko dohání USA.

BYZNYS JE HRA

„Investice do umění se do tabulek nevtěsná,“ říká Pavlína Pudil z Kunsthalle • Nejdražší materiál roku 2023? Hrst štěrku z vesmíru za miliardu dolarů • Ekologie musí být podle Tomáš Nemravy, výrobce dřevěných domů, ekonomická.

---

Koupit Finmag

Že je v takovém případě strach leckdy dobrý rádce, potvrdilo fiasko protiletadlového systému Patriot v operaci Pouštní bouře v roce 1991. Patriot sice pro útok vyžadoval potvrzení od svých operátorů, ti se ale kvůli zmatku a stresu naprosto spoléhali na úsudek počítačů, takže celý systém fungoval de facto plně autonomně. Výsledek byl tragický. Čtvrtinu zasažených cílů představovaly vlastní stroje.

Od devadesátých let sice technika ušla dlouhou cestu, základní problémy ovšem zůstávají. Autonomní zbraně stále přinášejí vysoké riziko nechtěných ztrát a přílišné eskalace sporu v případě nezamýšleného útoku na citlivý cíl. Jedním z důvodů je komplexita systému. Čím je systém složitější, tím náchylnější je k nehodám. I po důkladné kontrole obsahuje průměrný počítačový kód 1 chybu na 10 000 řádků. To se nemusí zdát jako mnoho, dokud si neuvědomíme, že kódy dnešních pokročilých bojových systémů obsahují takových řádků miliony. Navíc, spolehlivé rozpoznání cíle počítačem je i přes zlepšující se schopnosti umělé inteligence stále problematické. K těmto problémům ještě musíme přidat způsob, jakým se dnešní umělá inteligence učí.

Učení a testování

Při strojovém učení využívají programátoři takzvaných neuronových sítí. Jde o posloupnost mnoha jednoduchých kroků, kdy se počítač snaží přijít na to, jak na základě dodaných dat (například mnoha obrázků tanků) vyvodit správný výsledek (je-li na zkoumaném obrázku tank). Pomocí metody „pokus omyl“, kdy jsou výsledky programu automaticky porovnávány s výsledky předem přichystanými lidmi (tedy s obrázky, o nichž testující program ví, že na nich tank je, či není), jsou neúspěšné řetězce vyřazeny a ty úspěšné dál upravovány a opět testovány. Takto je počítač schopen vygenerovat program, který s co největší pravděpodobností dosáhne kýženého výsledku – například rozpoznání cíle. Programátoři ale do samotné „tvorby programu“ nevidí, a tak můžou testovat pouze výsledný produkt. S rostoucí komplexitou programu je však otestování reakcí na všechny potenciální situace, do nichž se stroj může dostat, takřka nemožné. Vzhledem k tomu, že strojové „vnímání světa“, je naprosto odlišné od toho našeho, i malá drobnost, která se nám může zdát jako šum, může způsobit chybu ve vyhodnocení a následnou tragédii.

Etika a zákony

Současná válka má mnoho pravidel. Mezi ně patří například zákaz útoků na civilisty nebo na vzdávající se či boje neschopné vojáky. Dokud nebudou autonomní zbraně dostatečně schopné rozeznat takovéto skupiny lidí, jejich nasazení bude velmi omezené. Minimálně co se týče útoků proti „pěchotě“. Už dnes mnozí aktivisté vystupující proti autonomním zbraním poukazují na zvýšené riziko nárůstu počtu civilních obětí. S tím se také pojí otázka, kdo by byl za jejich smrt zodpovědný. U armády, kde je jasná hierarchie, je tato odpověď, na rozdíl od samořiditelných aut, poměrně jednoduchá – ten kdo útok, při němž k obětem došlo, nařídil. I přes větší volnost, kterou zbraň při výběru cíle má, je za ni zodpovědný ten, kdo ji použil. Pořád jde o zbraň jako každou jinou a výrobci zbraní zodpovědnost za škody způsobené svými výrobky zpravidla nenesou.

Rostou také obavy, zda nasazení dronů nezvýší pravděpodobnost užití síly. A nejde jen o zdánlivou postradatelnost nasazeného stroje. V knize On Killing uvádí její autor Dave Grossman zajímavou statistiku. Podle ní během druhé světové války střílela přímo na nepřítele, s úmyslem jej zasáhnout, jen asi pětina vojáků. Ostatní schválně mířili těsně vedle nebo nestříleli, pokud možno, vůbec. Zdá se, že většina lidí má k zabíjení biologicky odpor. Velká část vojáků trpí po bojovém nasazení psychickými problémy, a to včetně pilotů bojových dronů. Pokud bude pro vojáka budoucnosti útok znamenat jen zmáčknutí tlačítka, bude to znamenat nárůst násilí? Možné to je. Na druhou stranu je ovšem nutno poznamenat, že absence emocí může pro dron představovat také „etickou výhodu“. Dron necítí strach či vztek, nemstí se. Pouze plní úkol. Přesnost, s jakou budou tyto systémy schopny útočit, by mohla riziko civilních obětí naopak snížit, podobně jako k tomu došlo po nasazení naváděných bomb.

Budoucnost

Vzhledem k absenci nástroje, který by dokázal bezpečně předpovědět budoucnost, se můžeme uchýlit pouze k více či méně kvalifikovaným odhadům vycházejícím z dosavadních zkušeností.

Budou autonomní zbraně zakázány? Nejspíš ne. A pokud ano, bude tento zákaz nejspíš neúspěšný – tedy dokud nedojde k nějaké velké nehodě. I zákaz chemických zbraní či protipěchotních min přišel až po tragických zkušenostech, které jejich nasazení přineslo. Můžeme těmto nehodám zabránit? Současné zkušenosti říkají, že do velké míry ano. Už dnes funguje na lodích amerického námořnictva protiletadlový systém Aegis, který je schopný střelby i v plně autonomním módu. Díky zavedení nové doktríny, která umožňuje při jeho použití nastavit mnoho režimů s různou mírou autonomie, k žádné nehodě při jeho používání od konce osmdesátých let nedošlo. Nastavení správných postupů, přesné vymezení působnosti daného systému a udělení míry autonomie odpovídající aktuálním potřebám může zajistit relativně bezpečné fungování těchto zbraní.

Autonomní zbraň budoucnosti bude tedy nejspíše útočit jen na jiné nepřátelské stroje, neboť jejich detekce je jednodušší a je zde menší riziko porušení mezinárodního humanitárního práva. Bude se tak pravděpodobně dít po důkladném průzkumu, aby se omezilo riziko útoku na civilisty či spřátelené síly a ze stejného důvodu bude oblast, ve které bude systém moci působit a útočit, poměrně úzce ohraničena. Takto tomu bude nejspíše do doby, než umělá inteligence ve všech ohledech dožene a překoná tu lidskou. A až k tomu dojde, bude lidstvo pravděpodobně řešit větší problémy, než jestli tuto inteligenci lze využít jako zbraň.