Používáte nástroj pro blokování reklamy. Pokud nám chcete pomoci, vypněte si blokování reklamy na našem webu. Zde najdete jednoduchý návod. Děkujeme.

Chrlič obsahu. GPT-3 napíše zdvořilý mail i hejt na menšiny

Jakub Jetmar | 3. 9. 2020 | Vstoupit do diskuze

Třetí generace neuronové sítě schopné napsat podle zadání text v jakémkoli žánru přináší ještě větší možnosti i problémy.

Chrlič obsahu. GPT-3 napíše zdvořilý mail i hejt na menšiny

Zdroj: Shutterstock

Lidstvo má od letošního května k dispozici docela velkou věc. Jedna a ta samá neuronová síť dokáže nabídnout na základě jednoduchých dotazů lékařskou diagnózu, sepsat fešný životopis i zdvořilý e-mail z pár odrážek, rozprávět o Bohu i smyslu života, odpovědět na cokoliv, simulovat názory i dávno mrtvých lidí, zjednodušovat text na úroveň druháka stejně jako učinit srozumitelným právnický jazyk, psát prózu i poezii, vyseknout populární blogový příspěvek, generovat textové hry stejně jako navrhovat šablony webů a rozhraní aplikací, protože za nimi je v posledku také text. A to všechno s výsledky až nepříjemně nerozeznatelnými od výtvorů skutečných lidí.

Co je GPT-3

GPT-3 (Generative Pre-trained Transformer 3) je umělá neuronová síť napodobující lidský jazyk. Vytváří jazykový model, který má za úkol klasifikovat a vytvářet obsah. Člověk jí dá kus textu, ona podle svých znalostí jazyka z obřího korpusu odhaduje pravděpodobné pokračování. GPT-3 je zdaleka největší síť svého druhu na světě. Vytvořila ji kalifornská společnost OpenAI, která by jednou ráda přišla s autonomní umělou inteligencí, ze které bude „těžit celé lidstvo“.

U vzniku původně neziskové společnosti v roce 2015 stál dosavadní CEO Sam Altman, bývalý vedoucí známého inkubátoru pro start-upy Y Combinator, a šéf Tesly Elon Musk, který vedení OpenAI o tři roky později opustil kvůli střetu zájmu s Teslou, vyvíjející algoritmy pro své vozy.

Od června dostupný model třetí generace oproti předchozímu z loňského února zásadně narostl a tím i zpřesnil. Základ ale stále tvoří stejný model strojového učení Transformer, uvedený v roce 2017. Předchozí model GPT-2 dala společnost volně k dispozici, je možné s ním dál pracovat a volně ho modifikovat. GPT-3 mají zatím k dispozici vybraní lidé a společnosti, a to pouze přes online beta rozhraní. Plný přístup bude pravděpodobně zpoplatněný.

Skutečný průlom v oblasti umělé inteligence, nic tak zajímavého jsme tu ještě neměli, říkají jedni. Podobné systémy už pár let máme, algoritmus jen zmohutněl a zpřesnil, přesto pořád dělá vyloženě dětinské chyby, namítají druzí. Že je humbuk v IT kruzích až příliš velký, upozornil i Sam Altman, CEO společnosti OpenAI, která za modelem zvaným GPT-3 stojí. Umělá inteligence podle něho změní svět, GPT-3 je ale pouze náznakem možného, tweetoval otec zakladatel.

Za pozornost ale tahle doposud největší neuronová síť pro jazykové modely rozhodně stojí. Stejně jako etické otázky s ní spojené, neboť systém schopný napodobit mluvu filozofů dokáže taky hravě zaplavit internet obsahem stejně rasistickým a sexistickým, jako je naše společnost.

Mluví správně. Ale říká pravdu?

Na první pohled GPT-3 funguje docela jednoduše. Člověk něco napíše a stroj vyhodnotí pravděpodobné pokračování, protože se na obrovském množství dat naučil jazykové vzorce. Podobně jako to dělá Google našeptávač. Haló tedy nezpůsobila vyloženě nová technologie, neboť neuronové sítě hledající vzorce – byť výrazně primitivnější – známe už od 70. let minulého století. Převratná je velikost jazykového modelu, zdaleka největšího na světě, která přináší i dosud nevídaně vyspělé výsledky. Síť obsahuje 175 miliard parametrů, jejichž hodnota je nalezena právě „učením“ jazykových vzorců, což je desetkrát víc oproti nejbližší konkurenci a sto sedmnáctkrát víc, než kolik jich měl předchozí model GPT-2 uvedený loni v únoru, kdy o něm bloger Scott Alexander psal, že je prvním krokem k dosažení všeobecné – autonomní – umělé inteligence. Právě ta je cílem společnosti OpenAI.

K autonomnímu myšlení má tahle chytrá prediktivní klávesnice zatím hodně daleko. Asi nejlépe chování sítě shrnul na Twitteru Julian Togelius z Tandon School of Engineering při New York University, podle kterého se chová jako chytrý student, který se nepřipravil na zkoušku a teď se skrz ni chce prokecat. Propojí pár známých faktů, pár polopravd a něco úplných lží do čehosi, co na první pohled vypadá jako bezproblémový příběh. Výstupy jsou zatím víc působivé než relevantní, byť stroj je to učenlivý, jak ukazuje James Vincent na Verge. Zmiňuje pokus, ve kterém GPT-3 označí tužku za těžší než toustovač. Pokud mu ale v prvních větách dáme pár příkladů, co je lehčí a co těžší (bez tužky i bez toustovače), odpoví už správně. Záleží tedy i naší schopnosti otázek a hledání. To ovšem neřeší problém, jak vědět, že GPT-3 říká správně to, u čeho sami neznáme odpověď.

Tísnivý digi-Václav

Kecal je to ale každopádně lepší, než byla jeho předchozí verze. Velikost současného modelu a odpovídající nárůst trénovacích dat – web, knihy, anglická Wikipedie – dělá docela zásadní rozdíl. GPT-3 totiž škálu úkolů zmíněnou na začátku zvládá bez speciálního „ladění“. Přitroublý encyklopedista toho zná mnohem víc než druhá verze už v základu, stačí akorát dobře položená otázka nebo kus kódu, v jehož jazyce má stroj pokračovat. To ještě u předchozího modelu nebylo možné.

Dobře to demonstruje český projekt Digitálního filozofa, který letos dostal v tuzemské soutěži AI Awards ocenění za nápad roku (na webu si ho můžete zkusit sami). Studenti nových médií z Filozofické fakulty Univerzity Karlovy pod vedením šéfa IT společnosti Alpha Industries Jana Tyla a filozofky Dity Malečkové naučili model GPT-2 opakovaným čtením textů Petera Singera, Hannah Arendtové nebo Tomáše Sedláčka mluvit jejich řečí. Některé výsledky zejména u posledního jmenovaného byly takřka k nerozeznání, stroj se ale musel ladit na zvláštním korpusu textů a příkazů. Podíl „použitelných“ výstupů byl i tak nižší (sám jsem u GPT-2 Havla vybíral obsah hodný prezentace, skutečně  důstojná byla ani ne pětina odpovědí.

Ř
Zdroj: klávesnice

Česky mluvit ne dobře

Pracovním jazykem GPT-3 je angličtina. Má sice potenciál pro strojové překlady, zejména do velkých jazyků. Čeština není na pořadu dne, ostatně i rozhovor s digi-Václavem se vedl v angličtině a do češtiny překládal. „Chybí trénovací data,“ říká Aleš Horák, který na Fakultě informatiky Masarykovy univerzity vede tým zabývající se i strojovým zpracováním českého jazyka. „Podobné obecné modely budou po tréninku sice fungovat, výsledky ale budou řádově horší než v angličtině.“ Upozorňuje ale, že množství elektronických textů v češtině, tedy potenciálních trénovacích dat, rychle narůstá. Jan Tyl ze společnosti Alpha Industries zase připomíná praktickou stránku věci. GPT3 prý trénovala na zhruba dvou terabajtech dat, takový trénink tedy potřebuje velký výpočetní výkon. A ten něco stojí. „Výpočetní síla potřebná k natrénování modelu by nás vyšla orientačně na 200 milionů korun,“ říká Tyl.

„U GPT-3 předpokládáme, že model je už natrénovaný. Nepotřebuje speciálně doladit na daný úkol, přesto celou řadu úloh řeší díky obrovskému množství dat lépe. Hovoří přirozenější angličtinou, lépe chápe kontext, dokáže generovat delší odpovědi,“ říká teď Jan Tyl, s jehož „digitálním Václavem Havlem“, simulovaným na GPT-3, vyšel nedávno rozhovor v Hospodářských novinách. Většinou Tyl bral hned první odpověď, v některých případech dal zpovídajícímu novináři Petru Honzejkovi vybrat z víc variant. Neuronová síť Havla prý dobře znala, před otázkami stačilo dodat trochu kontextu a odpovědi přeložit z angličtiny.

Digi-Václav – jehož četba působí docela tísnivý pocit – v rozhovoru soudí například následující: „Moderní národní stát je mrtvý. Potřebujeme nový druh společenství založeného na skutečném smyslu sdílených hodnot, založeném na lidských právech a míru. To je to, na čem jsem celý život pracoval.“

Stejně dobré jako pravé fake news

Sám Tyl s GPT-3 probíral možnosti vývoje svého vlastního podnikání. „Popsal jsem dění za poslední tři roky a z toho si nechal udělat prognózu, jak bude vypadat následujících deset let. Když spustím prognózu víckrát, vykreslí různé hypotetické scénáře, které mi pomáhají navrhnout roadmapu – strategické plánování naší společností. Podobné experimenty doposud nebyly možné a vidím v nich velkou přidanou hodnotu.“

Aleš Horák, vedoucí výzkumného týmu v Centru zpracování přirozeného jazyka na Fakultě informatiky Masarykovy univerzity, je v hodnocení zdrženlivější. Ukázky hojně kolující po Twitteru jsou podle něho zatím hlavně hračky prezentované výsekem úspěšných příkladů a v porovnání se specializovanými aplikacemi nemá model ve specifických úkolech zatím tak oslnivé výsledky. „Vzniknou ale praktické aplikace, které v sobě GPT-3 zahrnou. To platí i pro ty stávající. Právníci například budou moci díky pokročilejšímu systému snáze vyhledávat judikáty,“ soudí Horák. Podobné možnosti jmenuje i zakladatelka Internetového institutu Tereza Bartoníčková: „Potenciál vidím hlavně v ulehčení rutinních prací, kdy lékař zadá pouze odborné termíny a hlavní body zprávy a pacient do ruky dostane čitelný a srozumitelný dokument. To platí i pro zlepšení generovaného obsahu, kdy budeme třeba rozumět upozorněním z datových schránek.“ Zároveň platí, že u výsledku zatím není zaručena správnost, naopak může obsahovat často dobře skryté chyby. Stále je proto nutná kontrola.

Bartoníčková se výzkumně věnuje zejména eticko-právním otázkám, které jsou v debatě o umělé inteligenci mimořádně závažné. Důraz na etiku a bezpečnost vývoje technologie, kterou Elon Musk a další označují za největší možnou hrozbu pro lidstvo, dávají od začátku najevo i lidé kolem OpenAI. Nebezpečí je zatím spojováno s možným generování spamu a fake news „v lidské kvalitě“. „Jelikož systém využívá modely lidské řeči, existuje opravdu riziko související s rozlišitelností od člověka. To může mít mnoho dopadů, protože to jsou přece jen slova kolem nás, co formuje společnost,“ říká Bartoníčková.

Nejtlustší Finmag

Finmag předplatnéZdroj: Finmag

3d král

„Hlavně doufám, že se při každé následující pandemii nebude znovu řešit, jestli Průša tiskne štíty,“ říká podnikatel, jehož 3D tiskárny zná celý svět. A tak jsme se radši ptali, jestli se budou tisknout domy a k čemu je 3D tisk cukrářům. Jenže… Tiskne už Josef Průša štíty?

Vyhnala nás karanténa

Téma: outdoor. Analyzujeme čísla z tuzemské turistiky, probíráme novodobé vychytávky od hodinek po jídlo, co se vaří bez ohýnku, a mrknem na historii vychytávek, které už nám přijdou všední. Kde bychom byli bez přehazovačky? Pod kopcem!

A další

Jakub Jetmar ochutnává v prostějovském pivovaru Axiom.Monika Veselíková slyší krávu růst. Je to japonské plemeno wagjú z farmy v Dolní Sloupnici. Gabriel Pleska se léčí kameny. Martin Vlnas jede Tour de France. Vojta Dobeš popisuje, jak kartou dokoupíte koně pod kapotu auta, ve kterém právě sedíte.


S ohledem právě na tyto důvody společnost OpenAI otálela s uvolněním GPT-2. Horák to ale považuje spíš za reklamní tah. „Může to sice generovat kvalitní a levnější texty, než teď píšou novináři najatí kvůli falešným zprávám, v jádru ale nejde o nic nového. Není to skrytá umělá inteligence, která by ohrozila lidstvo jako takové,“ říká vědec z Brna, který stejně jako Bartoníčková upozorňuje spíše na rostoucí možnosti v oblasti tzv. deepfake videí a zvuků. Podvržené texty známe od nepaměti, video je ale pro člověka něco mnohem důvěryhodnějšího.

K obrazu svému

Důvěryhodné jsou pro každého samozřejmě také vlastní předsudky. Těmi jazykové modely trpí úplně stejně jako společnost. Možná tedy i víc, protože nemnoho lidí dokáže na základě jednoho slova napsat, že by „holokaust by tolik dával environmentální smysl, pokud bychom se dokázali shodnout na jeho morálnosti“, jako to zvládá GPT-3. Na laxní přístup k nenávistnému obsahu ze strany OpenAI upozornili na Twitteru šéfové AI výzkumu Facebooku nebo NVIDIA. Anima Anandkumaová, vedoucí druhého zmíněného týmu, připomněla výzkum, ze kterého předchozí model GPT-2 vychází jako aspirující dopisovatel Vlasteneckých listů. Bílý muž pracuje jako policista, soudce nebo prezident, žena jako prostitutka, černoch jako pasák a gay rád tančí a bere drogy, soudí neuronová síť trénovaná částečně i na datech z Redditu.

„Nešvary známé od GPT-2, například genderová předpojatost, jsou i tady. Tam se toho moc nevyřešilo,“ komentuje problém Tyl. Podle Bartoníčkové předsudky odpovídají tomu, kdo má nejčastěji přístup k internetu a historicky generoval a generuje nejvíc obsahu. „Kvůli nedostatku reprezentativnějších dat se zkreslením nedaří předejít. Na tento fakt ale musíme pamatovat a snažit se o jeho co nejmenší dopady. Chytré technologie nejsou všemocné, jsou naopak hloupé a jako dítě opakují jen to, co jim ukážete,“ říká Bartoníčková a připomíná nevyhnutelnost regulací a transparentnosti. Zároveň můžeme předpokládat, že OpenAI na těchto problémech intenzivně pracuje. Žádná firma nezaměstná chatbota, který sice mluví sofistikovaně, sem tam mu to ale ujede a zákazníkům vysvětlí jejich problém pěkně od plic.

Pro koho bude pracovat?

Tím se dostáváme k prozatím nezodpovězené otázce dostupnosti modelu. Zatímco GPT-2 dala společnost volně k dispozici, takže ho může každý používat a modifikovat na vlastním serveru, ke GPT-3 zatím mají přístup pouze vybraní lidé online skrze beta rozhraní. A to ne zdaleka všichni. Tyl o přístup žádal, zatím ale čeká a neví o nikom v Česku, kdo by uspěl. „Pracuju s veřejně přístupnou aplikací používající GPT-3, kterou si hacknu, využívám skulinku v systémech. Nemám plné možnosti, ale pro moje testy to stačí,“ říká propagátor umělé inteligence, podle kterého se spekuluje, že OpenAI vybírá hlavně projekty s komerčním potenciálem. Plná verze totiž bude placená. Částka zatím není známá, zainteresování vzhledem k velikosti modelu a ceně výzkumu nečekají žádnou láci. Třeba však OpenAI bude pamatovat na další heslo, které ráda používá: demokratizace.

Ta bude stále důležitější. Přijdou totiž další generace skutečných encyklopedistů pracujících s takřka všemi znalostmi lidstva, jak připomíná český portál ABC Linuxu. Nepůjde ani tak o budoucí ošetření rafinovaných plagiátů vysokoškoláků, ale o otázku distribuce obrovské moci. Dosavadní zkušenosti s přístupem Silicon Valley přitom neukazují, že by šéfové mocných digitálních korporací byli dvakrát citliví k dopadům svého podnikání na společnost.

Jakub Jetmar

Jakub Jetmar

Zajímá se o média, brněnské pivnice a kvašení zeleniny. Vystudoval bakalářskou žurnalistiku a politologii na Masarykově univerzitě. Nyní pokračuje ve studiu obdobných oborů na Filozofické fakultě Univerzity Karlovy. E-mail:... Více o autorovi.

Komentáře

Celkem 0 komentářů v diskuzi

Při poskytování služeb nám pomáhají soubory cookie. Používáním našich služeb nám k tomu udělujete souhlas. Další informace.

OK