Paradox aut budoucnosti: čím lepší autopilot, tím spíš vás zabije

Auta, která se sama řídí, vyvolávají v lidech snad ještě větší zmatek než hybridy a elektromobily. Málokdo rozumí tomu, co doopravdy dělají a ještě méně lidí chápe rozdíl mezi skutečně autonomním „roboautem“ a asistenčním systémem. Spousta lidí ani neví, že ať si Elon Musk říká co chce, žádné auto, které se řídí samo, dnes na trhu není.

Když se na problematiku autonomního řízení a asistenčních systémů podíváte letmo a nedej bože optikou technonadšence či úředníka, je to celé dost jednoduché. Lidští řidiči jsou problém a každý systém, který jim dokáže pomoci, je příspěvkem k jeho řešení. Čím víc asistenčních systémů budou auta mít, tím to bude lepší – a ideálně když se budou řídit úplně sama. Proto také legislativa čím dál víc tlačí na to, aby byly další a další chytré systémy povinné.

Podívejme se na to ale do větší hloubky a jednoduchost řešení se rozplyne, stejně jako víra v neomylnost našich přicházejících křemíkových vládců. Auto, které se částečně řídí samo, vás může zachránit, ale také zabít. A to, jestli k tomu dojde, není ani tak o dokonalosti techniky jako spíš o lidech, respektive o vztahu mezi řidičem a technikou.

Tesla svému asistenčnímu systému říká plné samořízení, případně Autopilot, i když se žádné samořízení ani automatická pilotáž nekoná.

Nejlepší i nejhorší Tesla

Ideálním příkladem je automobilka, která je v tomto ohledu nejlepší a zároveň i nejhorší. Řeč je samozřejmě o Tesle a její sadě řidičských asistentů, prodávané pod zavádějícím označením Autopilot a následně FSD, neboli Full Self-Driving („plné samořízení“). U něj se totiž v potenciálně smrtícím koktejlu spojuje „startupový“ přístup, kterému není cizí testování na zákaznících a zkoušení věcí v ostrém provozu a neochvějná víra velké části zákazníků ve vizionářského vůdce s tím, že se Tesla minimálně zdá být na špici vývoje.

Tradiční automobilky mají potenciální problém mnohem menší, protože víc vycházejí z kultury opatrnosti a bezpečnosti, která se v tomto oboru buduje už desítky let. Jsou proto mnohem lepší v ochraně svých zákazníků, jak před nevyzkoušenou technologií, tak před jimi samými.

Tesla se pořád tváří, že současný stav je jen jakési provizorium, než se její vozy naučí jezdit zcela samy, a tak je žádoucí zvykat si na fakt, že auta budou jezdit sama a přizpůsobit se tomu. Proto jsou funkce, které člověka nutí opravdu řídit, dosti minimalizované.

Naproti tomu auta tradičních automobilek vás – i pokud mají relativně pokročilé asistenční systémy stejné úrovně jako Tesla (tedy Level 2) – neustále aktivně nutí soustředit se. Pípají na vás a blikají pokud nedržíte volant, nadávají vám, když se nedíváte na vozovku nebo moc pozornosti věnujete infotainmentu.

Ten rozdíl je důležitý, stejně jako rozdíly v názvosloví – Tesla svému asistenčnímu systému říká „plné samořízení“, případně jeho nižší verzi „Autopilot“, i když se žádné „samořízení“ ani „automatická pilotáž“ nekoná. Lidé tak pod vlivem marketingu, obchodních názvů a tweetů pana ředitele dělají takové vylomeniny, jako je sledování filmů za jízdy nebo odchod na zadní sedadlo. Nebo si jen neuvědomují, že auto musí pořád hlídat, protože není připravené postavit se drsnému světu silnic samo.

Jak už se dávno zjistilo třeba v leteckém průmyslu při práci s autopiloty, obrovským nepřítelem je nuda a nepozornost.

Když AI neví, že neví

Což nás přivádí k samotné podstatě problému s pokročilými asistenčními systémy (Level 2) a semiautonomním řízením (Level 3 a 4). Všechny totiž fungují tak, že auto po většinu času řídí samo a řidič zasáhne, jen když se něco pokazí.

Jak už se dávno zjistilo třeba v leteckém průmyslu při práci s autopiloty, obrovským nepřítelem je nuda a nepozornost. Můžete si stokrát říkat, že vy jste pozorní, nečtete si esemesky za jízdy, a už vůbec by vás nenapadlo si pustit film, což třeba v Teslách donedávna bylo možné. Ale jakkoliv se budete snažit, vaše mysl nakonec začne bloudit všude jinde než tam, kde jí potřebujete mít. A pokud přijde krizová situace a nutnost rychlé reakce, je dost pravděpodobné, že jí nebudete schopni, protože se budete muset nejdřív zorientovat.

K tomu se přidává ještě jeden problém. Když umělá inteligence neví, tak obvykle také neví, že neví. Opět může být příkladem Tesla a videa chování aut, na jejichž majitelích je testováno FSD. Dlouho byl problém s tím, že FSD mělo nevysvětlitelnou zálibu v pokusech o projetí betonovými sloupy nadzemních železnic a pravidelně „přehlédne“ třeba zaparkovaný náklaďák, nebo dokonce sanitku.

I auta „tradičních“ značek čas od času něco „přehlédnou“, nebo naopak začnou brzdit kvůli neexistující překážce nebo rychlostnímu omezení na paralelní silnici, ale Tesly v tomto ohledu hrají nehezký prim.

Problém je, že FSD se s tím, jak se bude zlepšovat, bude paradoxně stávat čím dál nebezpečnějším.

Řidič jako učitel v autoškole

Nedávno se třeba objevila dvě videa, kde v jednom Tesla suverénně zahne do jednosměrky v protisměru (přičemž by o ní měla vědět jak ze značek, tak z Google Maps), zatímco v tom druhém odbočí pod tramvaj, o které ví i podle informací na vlastním displeji. V tomto článku američtí kolegové rozebírají, proč je taková věc opravdu, ale opravdu strašně špatně.

Dokud totiž mohou nastávat situace, kdy systém nejenže neví, ale dokonce neví, že neví, musíte být vždycky připraveni převzít kontrolu. V případě zmiňovaných dvou videí to jeden řidič udělal hned a uchránil se tak rozmačkání pouličním vlakem, zatímco ten druhý zareagoval pomaleji, urazil kus v protisměru a potom teprve převzal řízení a otočil se.

Tyto případy dobře ukazují, jaký je vlastně „přínos“ systému FSD Beta v reálném světě. Neumožní vám přestat dávat pozor, ani se na něj nemůžete spolehnout, že napraví vaše chyby. Naopak si musíte být jistí, že dokážete napravit ty jeho. To, co z vás FSD Beta udělá, je učitel v autoškole.

Většina ostatních společností vyvíjející autonomní systémy to ví, a proto je svěřují jen proškoleným profesionálům, tak jako jen trénovaní profesionálové mohou vyučovat v autoškolách. Tesla je poněkud odvážnější. A zatím jí to docela vychází, protože se systému FSD Beta dosud nepodařilo nikoho zabít. Zatím.

Problém je, že FSD se s tím, jak se bude zlepšovat, bude paradoxně stávat čím dál nebezpečnějším. Jak je to možné? Docela snadno. Když budete chvíli sledovat jízdní videa FSD Beta, zjistíte, že systém je dnes natolik špatný, že ještě nezačal být nebezpečný. Nedovolí totiž řidiči, aby ztratil pozornost. Je to skutečně jako být učitel v autoškole.

To by ještě bylo dobré. Ale váš žák není člověk, který po téměř celý život byl alespoň pasivním účastníkem silničního provozu a zná jeho základní pravidla. Váš žák je mimozemšťan, který na Zemi nikdy nebyl a jeho logika naprosto neodpovídá naší. Znáte ty teorie o tom, že chobotnice mohou být podobně chytré jako my, ale prostě jim nerozumíme, protože myslí úplně jinak? Tak si představte, že učíte chobotnici řídit.

FSD má vlastní logiku toho, jak se auta na silnici pohybují. A i když je výsledek většinou takový, jaký čekáme, nevíme přesně, jak k němu došlo.

Logika FSD

FSD, stejně jako ostatní podobné systémy, je totiž založeno na „neuronové síti“ a strojovém učení. Zároveň je to do značné míry „černá skříňka“, tedy něco, o čem moc nevíme, co se děje uvnitř a vidíme jen výsledky. A jen na základě výsledků se také systém učí. To se může zdát jako relativně nepodstatná věc, vždyť se přece nakonec stejně naučí to, co je správné, ne?

Naresh111 / Shutterstock.com

Chytrák na výsluní. Proč je Musk dost možná jen mazanější než investoři

Pokud se zeptáte nějakého z investorů či fanoušků Tesly (což bývá často totéž), proč věří, že akcie budou dále stoupat, často odpovědí, že věří Elonu Muskovi a jeho schopnostem. Ale opravdu věří jemu, nebo spíš tomu, co chtějí, aby říkal? Co když je Elon jen chytřejší než oni?

Jenomže nenaučí. Jak ukazují dvě už zmiňovaná videa, nebo třeba problém s Teslami snažícími se narazit do sloupů, systém autonomního řízení se rozhoduje úplně jinak než člověk. Stejně jako si například pokročilé překladače vytvářejí vlastní „jazyk“ který používají při převádění mezi jednotlivými lidskými jazyky, FSD má pravděpodobně svoji vlastní logiku toho, jak se auta na silnici pohybují. A i když je výsledek většinou takový, jaký čekáme, nevíme přesně, jak k němu došlo.

Nefunguje tu ani elementární lidská logika, jako je „nenarážet do věcí“. Třeba Volvo mělo v Austrálii specifický problém s tím, že jeho auta nedokázala reagovat na klokany. Nám lidem přijde logické, že i kdybychom viděli klokana poprvé v životě, zařadíme si ho někam do kategorie „zvíře“ a bez větší námahy vyvodíme, že to bude něco jako velký zajíc nebo menší srnka. Podle toho odhadneme potenciální následky srážky s klokanem a upravíme naši reakci.

Umělá inteligence ale takhle nepřemýšlí (respektive nepřemýšlí vůbec a až do vzniku obecné UI také přemýšlet nebude). To, že klokan poskakuje, z něj dělá úplně jiný objekt než je srnka nebo zajíc – dost možná proto, že způsob pohybu je pro UI jedním ze zásadních faktorů pro identifikaci. Stejně tak se může stát, že systém neidentifikuje protijedoucí tramvaj jako nebezpečí, protože tramvaj není auto ani autobus.

A protože nevíme, na základě čeho se přesně rozhoduje, nemůžeme si být tak docela jistí, kdy a jakou udělá chybu. Že stokrát rozpoznal maminku s kočárkem a vyhnul se jí? Ale co když se změní nějaký zdánlivě okrajový faktor? Pozná systém i maminku s kočárkem na pozadí fialové fasády? Na pozadí billboardu se slonem? Když má maminka jen jednu nohu? Když kočárek netlačí, ale táhne? Nevíme. Prostě nevíme.

To dělá z dohlížení na robotické auto záležitost nikoliv odpovídající práci instruktora v autoškole, ale mnohem horší. Instruktor v autoškole, pokud už má jeho žák za sebou alespoň jednu nebo dvě lekce, obvykle tuší, co žák umí, co neumí a kdy musí dávat pozor. Obvykle se nemusíte obávat, že by lidský řidič, byť začínající a vyplašený, najednou zatočil do sloupu, vydal se na křižovatce do protisměru nebo se rozhodl narazit do blikající sanitky.

FSD tohle všechno občas udělá. A dokud to udělá často, je to vlastně ještě docela dobré. Jeho zmatkování na křižovatkách, trhané pohyby a časté „zkraty“ vás udržují ve střehu. Neustále čekáte, co se stane příště. A když se to stane, jste (relativně) připravení a obvykle s tím něco uděláte. I když ne vždycky to úplně stačí.

Na sledování dlouhotrvajících nudných procesů opravdu nejsme vybaveni.

Zdánlivá a nebezpečná „příčetnost“

Opravdový problém přijde, až bude FSD natolik dobré, že bude po naprostou většinu času schopné působit jako vcelku příčetný lidský řidič. Namísto nutnosti zasahovat několikrát za krátkou cestu začnou být zásahy potřeba jednou za několik jízd. Potom jednou za několik týdnů. Nebo několik měsíců.

A teprve potom vás robotické auto zabije.

Na sledování dlouhotrvajících nudných procesů totiž jako lidé opravdu nejsme vybaveni. A už vůbec nejsme vybaveni na to, abychom přitom reagovali na náhlé a logicky neočekávatelné krizové situace. Takže až se budoucí „chytřejší“ FSD rozhodne vjet pod tramvaj, narazit do sloupu nebo najet na dálnici v protisměru, zjistíte to dost pravděpodobně až ve chvíli, kdy bude pozdě. Nebo, v horším případě, to nestihnete před náhlým koncem svého života zjistit vůbec.

Co se s tím dá dělat? To, co dělají tradiční automobilky. Omezují autonomní řízení na místa, časy a situace, které jsou tak jednoduché, že počítač vždycky „ví“, nebo alespoň natolik přehledné, že „ví, když neví“. Příkladem můžou být třeba dnešní systémy úrovně tři, které obvykle umožňují jen jízdu v koloně po dálnici. Tam počítač nemá prostor nic moc vymýšlet, a když „neví“, tak mu stačí zastavit a zapípat na řidiče.

Zanedlouho bude možné nechat auta téměř bez dozoru jezdit po některých dobře zmapovaných úsecích přehledných dálnic, tak jak k tomu má našlápnuto třeba SuperCruise od GM. O něco později se možná dočkáme i městských robotaxíků, plížících se rychlostmi třeba do třicítky v dobře zmapovaných městech. Díky malé rychlosti budou opět moci na jakýkoliv problém reagovat tím, že prostě zastaví.

Ale plnohodnotná autonomie? Taková, kdy v autě nemusí být ani volant, nebo ho můžete poslat samotné třeba s dítětem, nemohoucí babičkou nebo opilým sám sebou? Kdy ho můžete poslat jezdit pro Uber? Tak to je mnohem dál, než by se podle tweetů Elona Muska mohlo zdát. A přehnané optimisty nejspíš vyléčí až to, že se autonomní systémy stanou dost dobrými na to, aby vás mohly zabít…

Ještě nestačilo? Vojtěch Dobeš na Finmagu:

• Když ceny fungují naopak. Tohle Bentley hraje jinou ligu
• Česká ekonomika v ohrožení. Umře český autoprůmysl na elektřinu?
• MoonSwatch jsou revolucí. Proč je nevyzkoušíme?
• Po třiceti letech v buchance. Jak se řídí ruská živoucí fosilie?
• Dlouhé cestování elektromobilem? Tohle placaté Audi může být klíčem

Jak jde dohromady byznys a medicína? Dočtete se v novém Finmagu

Je medicína byznys? Jak pro koho. „Frustraci mladých lékařů chápu. Nemají ani na chůvu, aby jim pohlídala děti, když pracují,“ říká přednosta chirurgické kliniky Robert Lischke.

Zdroj: Finmag

MEDICÍNA A BYZNYS

Jak venkovští praktici nepřicházejí o iluze • Ženy mění medicínu • Nejstarší pražská nemocnice objektivem Alžběty Jungrové • Nejdražší léky na světě • Obézních přibývá, Česko dohání USA.

BYZNYS JE HRA

„Investice do umění se do tabulek nevtěsná,“ říká Pavlína Pudil z Kunsthalle • Nejdražší materiál roku 2023? Hrst štěrku z vesmíru za miliardu dolarů • Ekologie musí být podle Tomáš Nemravy, výrobce dřevěných domů, ekonomická.

Koupit Finmag