Partner webuRoger logo
Předplatit časopis Finmag

Skandály s falšováním výzkumů v psychologii. Čas na velkou revizi?

Vojtěch Hodboď
Vojtěch Hodboď
26. 9. 2017
 15 714

Mnoho uznávaných psychologických výzkumů dává při opakování výrazně jiné výsledky, než s jakými byly publikované. Zjistila to studie, na níž se podílela experimentální laboratoř PLESS. Pro vědu vážný problém. Nastává čas velkých revizí: podle Marka Vranky, který laboratoř na FF UK zakládal, je nedůvěryhodná až polovina výzkumů v oboru. Proč by ale vědci lhali?

Skandály s falšováním výzkumů v psychologii. Čas na velkou revizi?

Zabýváte se morální psychologií. Co to je?

Nejde nám o to, abychom říkali, co je a co není morální. Spíš člověka stavíme do mentálně náročných situací a pozorujeme, jak emoce ovlivňují morální rozhodnutí.

Takže pokud budu například ve stresu, jak to ovlivní morální rozhodnutí?

Pokud máme na rozhodnutí méně času, logicky méně zapojujeme racionální procesy. Soustředění je namáhavé, proto by se mělo spíš projevit intuitivní rozhodování.

Můžete uvést příklad?

Často se používá známé tramvajové dilema: po kolejích jede tramvaj, která nejde zastavit. Stojíte u výhybky a musíte se rozhodnout. Buď neuděláte nic, tramvaj projede a srazí pět lidí. Nebo otočíte výhybku a tramvaj odkloníte na vedlejší kolej, kde srazí jednoho člověka. Co byste udělal?

To je těžké říct. Taková situace v životě nenastane.

To je sice pravda, ale umožní nám to vyzkoušet několik dalších možností. Například jak se změní rozhodnutí, pokud by tramvaj nesrazila pět, ale padesát lidí. V druhé verzi pracujeme s tím, že člověk může tramvaj zastavit tím, že do kolejiště strčí člověka. Tím zachrání dalších pět. Umře tedy jeden člověk, ale víc jich bude zachráněno. Už to není jen otočení výhybky, musíte jít přímo do osobního kontaktu.

Ve výsledku jde o podobnou situaci. Liší se nějak výsledek?

Diametrálně! 80 procent lidí považuje přehození výhybky a zachránění pěti lidí za morální. Ale jen 20 procent by do kolejiště shodilo člověka, aby zachránilo pět lidí. Rozdíly jsou opravdu silné, ačkoliv se teoreticky jedná o podobnou situaci.

Tramvajové dilema podle BBC

Jak takové pokusy děláte? Nepředpokládám, že trénujete třeba ve vozovém parku…

Dnes jsou pro výzkum opravdu skvělé možnosti – můžeme například využívat virtuální realitu. V Brně mají novou laboratoř HUME Lab, kde mají velké plátno jako v IMAXu. Dokonce si vyrobili vlastní výhybku. Jak by ale simulovali to strčení člověka do kolejiště, to opravdu netuším.

Vy jste také v Praze založil experimentální laboratoř…

Laboratoř je silné slovo. V zahraničí má taková laboratoř vlastní budovu, v našem měřítku nemáme ani vlastní místnost, takže je to spíš idea – vytvořili jsme databázi uchazečů, počítačovou místnost sdílíme s katedrou logiky, a studentům jsme předali know-how, aby byli schopní výzkum vést.

Třeba do budoucna dostanete i vlastní místnost. Už jste realizovali nějaký významnější výzkum?

Společně s vědeckými týmy po celém světě jsme se připojili k velkému mezinárodnímu projektu ManyLabs. Vybralo se třináct relativně známých studií a naším společným úkolem bylo je replikovat a zjistit, jestli se nám podaří dojít ke stejným výsledkům.

A podařilo se?

Víceméně ano, ale i přes obrovské množství dat – celosvětově šlo téměř o šest tisíc účastníků – byl výsledek ve dvou případech čistá nula. Hůř dopadla o něco později publikovaná studie v časopisu Science, na níž se podílel kolega Štěpán Bahník a 269 dalších psychologů – těm se povedlo úspěšně replikovat jen asi třetinu výsledků. Od této chvíle se v psychologii začalo hodně mluvit o takzvané replikační krizi neboli o krizi důvěryhodnosti. Je to významný trend a jsem rád, že jsme byli u toho.

Mladší díky Beatles

Co přesně replikační krize znamená? Co jste zjistili?

Obecně předpokládáme, že publikované vědecké výzkumy jsou replikovatelné – to znamená, že když se je vědci pokusí zopakovat, dospějí ke stejným výsledkům. Ukázalo se ale, že to často neplatí. Je velmi těžké přesně určit, kolik procent výzkumů je nereplikovatelných, a tedy nedůvěryhodných – díky dosud provedeným studiím ale víme, že to v psychologii může být až kolem 50 procent. To je mnohem víc, než by prakticky kdokoliv ještě před několika lety odhadoval. A za druhé se zjistilo, že příčinou jsou do značné míry takzvané pochybné výzkumné praktiky, které vědci používají, protože je to v souladu se zaužívanými zvyklostmi. Ve skutečnosti tyto praktiky vedou k tomu, že vznikají studie s pouze iluzorními výsledky. To se sice v akademické obci tak nějak tušilo, ale teď se už téma nepodařilo zamést pod koberec.

Pochybné praktiky?

Vysvětlím to na konkrétní studii. Američtí vědci publikovali výzkum, který říká, že když si poslechnete písničku od Beatles, tak se sníží váš věk. Nejen, že se budete cítit mladší, ale že váš věk bude skutečně nižší.

Vyšel nový Finmag!

CO V NĚM TAKY NAJDETE

VŘSD. Velký říjnový socialistický debakl

Alternativní historie z pera ekonoma Pavla Kohouta. V roce 1918, po rudém převratu, jsou uprostřed Ruska zmítaného občanskou válkou nejdisciplinovanější vojenskou silou československé legie. Jaký bude svět, až potřou bolševika a car Mikuláš se vrátí na trůn?


Živnostenská hádanka

Téma, které budí emoce. My je necháváme spát a s chladnou hlavou analyzujeme: je živnostník fackovací panák odborářů a jiných politiků, nebo reálný problém české ekonomiky? Čísla a fakta.

Potřebuju Finmag

To je přece absurdní…

No právě. A teď jsme postaveni před situaci, že buď máme super schopnost omládnout při poslechu písniček Beatles, anebo můžeme pomocí metod, které jsou považovány za akceptovatelné, dospět k absurdnímu výsledku. Pravděpodobnější je spíš druhá varianta, která vychází z toho, že z velkého množství dat a možných statistických analýz můžete vybrat jen to zajímavé a ostatní zamlčíte. Výsledný článek je pak snadno falešně pozitivní – nelžete, protože jste si nic nevymysleli, ale zamlčeli jste to, co se nehodilo. V studii s Beatles totiž nebyl původní záměr zkoumat omlazovací účinky konkrétní písně – tak se pouze tvářil výsledný text. Ve skutečnosti autoři pustili lidem různé písničky, změřili spoustu dalších proměnných kromě věku a pak hledali v datech jakékoliv zajímavé vztahy tak dlouho, dokud nedosáhli zajímavého výsledku. Tato studie byla jen demonstrací, dá se ale čekat, že v praxi postupuje mnoho výzkumníků velmi podobně. Zvyšují tak šanci, že jejich práce bude publikovaná v některém z prestižních žurnálů. Někdo to celé nazývá replikační krize, pro mě je to spíš krize důvěryhodnosti. Právě proto, že se na výsledky, o kterých čteme v odborných žurnálech, nemůžeme spolehnout a bezpečně je používat v praxi – když studii nejde replikovat ani v laboratorním prostředí, jak potom asi budou výsledky fungovat v reálném životě?

Jak velký problém to je pro psychologii jako obor?

Trochu se obávám, že to je rozšířenější, než si lidé jsou ochotní připustit. Krize důvěryhodnosti poukázala na to, že ve vědě nefungují kontrolní mechanismy, takže se i desítky let mohly v literatuře udržet zcela vymyšlené výsledky. Například známý nizozemský psycholog Diederik Stapel si dlouhá léta vymýšlel výsledky všech svých studií a nikdy se mu nestalo, že by ho někdo konfrontoval s tím, že jeho výsledky nelze replikovat. To znamená, že byl buď opravdu jasnozřivý a všechno si vždycky vymyslel v souladu s realitou, nebo prostě současné vědecké praxi chybí klíčový prvek, a to sebe-korekce chybných závěrů.   

Jak na replikační krizi vědci reagovali?

Ti, jejichž výzkumy byly zpochybněny, se samozřejmě ozývali a všemožně zase zpochybňovali replikační studie. Například tak, že replikátoři prý nemají dostatečnou kvalifikaci nebo že účastníci nebyli dostatečně motivováni. Takže ta stará garda, která tímto způsobem dělala výzkum mnoho let a vybudovala na tom kariéru, teď může mít oprávněně pocit, že někdo chce zpochybňovat jejich celoživotní dílo a můžou to cítit jako osobní křivdu.

Říkáte, že s výsledky se manipulovalo i dřív. Jak to, že se o tom začalo mluvit až teď?

Je pravděpodobné, že takový stav existoval i desítky let. Dokonce si myslím, že se postupem času zhoršoval, protože bylo stále těžší objevit něco nového. Historicky se ale nikdy nepodařilo zasáhnout dostatečně velký okruh lidí, aby se o tématu začalo mluvit nahlas. Dnes se zejména díky internetu – Twitteru, Facebooku nebo novinářům jako Ed Yong – o problémech dozvěděla i nejširší veřejnost, studenti, a už to nešlo zastavit. Internet umožnil přeskočit existující hierarchii lidí, kteří dřív mohli informaci zastrčit do šuplíku.

Dá se takovým pochybným výzkumným praktikám nějak bránit?

Určitě ano. Věřím, že výsledkem této krize bude to, že se podaří najít lepší model, jak dělat vědu. Už se začíná experimentovat s předregistrovanými výzkumy. To znamená, že předem detailně popíšete, jak chcete výzkum provést a jak budete sbírat data. Nebo dokonce dopředu prakticky napíšete celý článek a pošlete do recenzního řízení. Pokud článek recenzním řízením projde, tak už jen doplníte sesbíraná data a publikaci máte jistou bez ohledu na výsledky

Takže zametání pod koberec už nehrozí?

Přímo ne, ale nepřímo ano. Diskuze kolem tohoto tématu jsou někdy skutečně velmi emotivní. A pokud se tábory rozdělí na ty dobré a špatné, začne zákopová válka a nic se nevyřeší. Už jsme došli opravdu daleko a pro vědu by to byla velká škoda.

Posvátná věda

Pomozte mi prosím pochopit jednu věc. Z čeho se skládá vaše ohodnocení jako vědeckého pracovníka?

Každé pracoviště to má nastavené jinak. Nejběžnější praxe je, že máme tabulkový plat a povinnost odučit určitý počet hodin. Zároveň musíme publikovat vědecké články, za které jsme odměňováni extra. Čím víc a v čím kvalitnějších žurnálech vyjdou, tím větší je výsledné ohodnocení.

Kolik takových článků musíte například ročně napsat?

Na Fakultě sociálních věd třeba dva za rok.

A cítíte se jako vědec pod tlakem?

To ani ne.

Ptám se, protože mě zajímá, proč vědci podvádějí.

Začal bych asi tím, že každý vědec chce zejména objevit něco nového nebo zajímavého. Na začátku má hypotézu, které často sám upřímně věří. Následný výzkum je ale pro někoho už je jen takové povinné cvičení, které má pro danou osobní pravdu poskytnout argumenty. Pokud k tomu někdo přistupuje takhle, dá se pochopit, že bude používat různé pochybné triky a vytáčky, zvlášť když jsou zcela v souladu s běžnou praxí v oboru. Je totiž velmi snadné přesvědčit sám sebe, že mám pravdu. To je ale spíš sebeklam než vědomé podvádění či falšování dat, jako to dělal Stapel.

Daniel Kahneman popsal celou řadu zkreslení a chyb v našem myšlení. Takže se do pasti nakonec chytne i profesionál?

I vědci jsou jen lidé. Ale to je přesně ono: kognitivní chyby, motivované uvažování, konfirmační zkreslení. To všechno je příčinou toho, že vědec, tak trochu s klapkami na očích, dojde k falešně pozitivnímu výsledku. A replikační krize ukázala, jakými cestami do výzkumu tyto zkreslující vlivy pronikají.

Říkáte, že za úspěšné a citované články máte peníze navíc. Nemůže to vést vědce i přímo ke skutečnému podvádění?

Jak jsem už říkal, většinu vědců motivuje hlavně touha poznávat a objevovat, nechtějí podvádět. Navíc podvádět jen kvůli penězům nedává moc smysl, protože spousta vědců by se bez problémů uplatnila v komerční sféře. Mám ale takovou teorii: sběr a vyhodnocování dat často zejména v zahraničí provádějí studenti. Ti si podle mého názoru velmi dobře uvědomují, že pokud výzkum nebude publikován, jejich několikaměsíční práce bude z hlediska jejich další kariéry v hyperkompetetivním prostředí západní akademie k ničemu. Být spolupodepsán na zajímavé studii znamená velkou a často jedinou šanci přeskočit mezeru mezi studiem a akademickou kariérou. Bez publikací je to naprosto nemožné. Takže si myslím, že asistenti jsou v důsledku mnohem víc motivováni tomu „pomoct“ nejen pochybnými praktikami, ale například i falšováním dat.

A zatajit to vedoucímu.

Ano, protože to je v jejich zájmu. Vedoucí se obvykle nebude hrabat v datech, aby si asistenty zkontroloval, to by to rovnou mohl dělat celé sám.

To neexistuje žádná kontrola, která by mohla podvody odhalit?

Recenzní řízení samozřejmě probíhá, ale v naprosté většině případů recenzent posuzuje pouze argumentaci nebo metodologii, data si málokdy vyžádá. Přitom už to dnes není velký problém. Dřív by recenzent musel procházet štos papírů, dnes stačí otevřít statistický program, nahrát data a zkontrolovat, jestli vycházejí alespoň stejné výsledky, které jsou publikované v článku. Jedna nedávná studie zjistila, že u téměř poloviny ekonomických článků nebylo možné zopakovat původní výsledky ani na stejném datasetu.

Marek Vranka

Marek Vranka

Ročník 1988. Vystudoval psychologii na FF UK a Podnikovou ekonomiku a management na VŠE. Od roku 2013 vede Experimentální laboratoř PLESS při katedře psychologie FF UK, kde mimo jiné také vyučuje – stejně jako na katedře marketingové komunikace a PR. Publikační činnost.

Pokud tomu dobře rozumím: probíhající krize odhalila, že celá řada výzkumů není důvěryhodná. Nepřijde mi, že by tato informace pronikla na veřejnost.

V České republice se o tom určitě nijak významněji nemluvilo.

To je zvláštní…

Není tu početné publikum ani dostatek vědeckých novinářů. Navíc ten problém je složité vysvětlit v jednom titulku. Aby mohla média psát o vědě, musí to čtenářům nebo divákům maximálně zjednodušit. A to může přinést víc špatného než dobrého. Pokud by se nyní v médiích objevila informace, že vědecký výzkum není důvěryhodný, běžný člověk si řekne, že už je „všechno jedno“. To samozřejmě není pravda. Vždyť polovinu výzkumů se replikovat podařilo, takže všechno vymyšlené není.

V zahraničí se o tom diskutovalo víc?

Ano, nesrovnatelně. Kromě diskuzí na Twitteru a blozích, vyšel článek například v Economistu a další popularizační články v mnoha dalších médiích. Nedávno se tématu částečně věnoval i John Oliver ve svém pořadu na HBO.

Věda je považována za posvátnou disciplínu, za takovou poslední instanci pravdy. Došli jsme ale k tomu, že i ve vědě jsou jen lidé, kteří mají své úmysly a dělají chyby…

A to je naprosto v pořádku. Věda sama o sobě není posvátná kráva a automatická záruka pravdy. Naopak je to proces, který slouží k odhalování chyb, a to i těch, které do tohoto procesu vnášejí sami lidé. Chápu, že bychom chtěli všechno zjednodušit a na první pohled vědět, co je pravda a co ne. To je ale naivní a nebezpečné zároveň. Uspává to kritické myšlení a to bychom neměli připustit.

Daňové přiznání online

Ohodnoťte článek

-
1
+

Sdílejte

Diskutujte (2)

Vstoupit do diskuze
Vojtěch Hodboď

Vojtěch Hodboď

Vystudoval žurnalistiku na Fakultě sociálních věd Univerzity Karlovy, kde nyní pokračuje na mediálních studiích. Zajímá se o psychologii a nová média. Při škole pomáhal zakládat a rozjet startup Storyous,... Více

Daňové přiznání online

Aktuální číslo časopisu

Předplatné časopisu Finmag

Věda je byznys –⁠ byznys je věda

Koupit nejnovější číslo