Používáte nástroj pro blokování reklamy. Pokud nám chcete pomoci, vypněte si blokování reklamy na našem webu. Zde najdete jednoduchý návod. Děkujeme.

Skandály s falšováním výzkumů v psychologii. Čas na velkou revizi?

Mnoho uznávaných psychologických výzkumů dává při opakování výrazně jiné výsledky, než s jakými byly publikované. Zjistila to studie, na níž se podílela experimentální laboratoř PLESS. Pro vědu vážný problém. Nastává čas velkých revizí: podle Marka Vranky, který laboratoř na FF UK zakládal, je nedůvěryhodná až polovina výzkumů v oboru. Proč by ale vědci lhali?

Zabýváte se morální psychologií. Co to je?

Nejde nám o to, abychom říkali, co je a co není morální. Spíš člověka stavíme do mentálně náročných situací a pozorujeme, jak emoce ovlivňují morální rozhodnutí.

Takže pokud budu například ve stresu, jak to ovlivní morální rozhodnutí?

Pokud máme na rozhodnutí méně času, logicky méně zapojujeme racionální procesy. Soustředění je namáhavé, proto by se mělo spíš projevit intuitivní rozhodování.

Můžete uvést příklad?

Často se používá známé tramvajové dilema: po kolejích jede tramvaj, která nejde zastavit. Stojíte u výhybky a musíte se rozhodnout. Buď neuděláte nic, tramvaj projede a srazí pět lidí. Nebo otočíte výhybku a tramvaj odkloníte na vedlejší kolej, kde srazí jednoho člověka. Co byste udělal?

To je těžké říct. Taková situace v životě nenastane.

To je sice pravda, ale umožní nám to vyzkoušet několik dalších možností. Například jak se změní rozhodnutí, pokud by tramvaj nesrazila pět, ale padesát lidí. V druhé verzi pracujeme s tím, že člověk může tramvaj zastavit tím, že do kolejiště strčí člověka. Tím zachrání dalších pět. Umře tedy jeden člověk, ale víc jich bude zachráněno. Už to není jen otočení výhybky, musíte jít přímo do osobního kontaktu.

Ve výsledku jde o podobnou situaci. Liší se nějak výsledek?

Diametrálně! 80 procent lidí považuje přehození výhybky a zachránění pěti lidí za morální. Ale jen 20 procent by do kolejiště shodilo člověka, aby zachránilo pět lidí. Rozdíly jsou opravdu silné, ačkoliv se teoreticky jedná o podobnou situaci.

Tramvajové dilema podle BBC

Jak takové pokusy děláte? Nepředpokládám, že trénujete třeba ve vozovém parku…

Dnes jsou pro výzkum opravdu skvělé možnosti – můžeme například využívat virtuální realitu. V Brně mají novou laboratoř HUME Lab, kde mají velké plátno jako v IMAXu. Dokonce si vyrobili vlastní výhybku. Jak by ale simulovali to strčení člověka do kolejiště, to opravdu netuším.

Vy jste také v Praze založil experimentální laboratoř…

Laboratoř je silné slovo. V zahraničí má taková laboratoř vlastní budovu, v našem měřítku nemáme ani vlastní místnost, takže je to spíš idea – vytvořili jsme databázi uchazečů, počítačovou místnost sdílíme s katedrou logiky, a studentům jsme předali know-how, aby byli schopní výzkum vést.

Třeba do budoucna dostanete i vlastní místnost. Už jste realizovali nějaký významnější výzkum?

Společně s vědeckými týmy po celém světě jsme se připojili k velkému mezinárodnímu projektu ManyLabs. Vybralo se třináct relativně známých studií a naším společným úkolem bylo je replikovat a zjistit, jestli se nám podaří dojít ke stejným výsledkům.

A podařilo se?

Víceméně ano, ale i přes obrovské množství dat – celosvětově šlo téměř o šest tisíc účastníků – byl výsledek ve dvou případech čistá nula. Hůř dopadla o něco později publikovaná studie v časopisu Science, na níž se podílel kolega Štěpán Bahník a 269 dalších psychologů – těm se povedlo úspěšně replikovat jen asi třetinu výsledků. Od této chvíle se v psychologii začalo hodně mluvit o takzvané replikační krizi neboli o krizi důvěryhodnosti. Je to významný trend a jsem rád, že jsme byli u toho.

Mladší díky Beatles

Co přesně replikační krize znamená? Co jste zjistili?

Obecně předpokládáme, že publikované vědecké výzkumy jsou replikovatelné – to znamená, že když se je vědci pokusí zopakovat, dospějí ke stejným výsledkům. Ukázalo se ale, že to často neplatí. Je velmi těžké přesně určit, kolik procent výzkumů je nereplikovatelných, a tedy nedůvěryhodných – díky dosud provedeným studiím ale víme, že to v psychologii může být až kolem 50 procent. To je mnohem víc, než by prakticky kdokoliv ještě před několika lety odhadoval. A za druhé se zjistilo, že příčinou jsou do značné míry takzvané pochybné výzkumné praktiky, které vědci používají, protože je to v souladu se zaužívanými zvyklostmi. Ve skutečnosti tyto praktiky vedou k tomu, že vznikají studie s pouze iluzorními výsledky. To se sice v akademické obci tak nějak tušilo, ale teď se už téma nepodařilo zamést pod koberec.

Pochybné praktiky?

Vysvětlím to na konkrétní studii. Američtí vědci publikovali výzkum, který říká, že když si poslechnete písničku od Beatles, tak se sníží váš věk. Nejen, že se budete cítit mladší, ale že váš věk bude skutečně nižší.

Vyšel nový Finmag!

CO V NĚM TAKY NAJDETE

VŘSD. Velký říjnový socialistický debakl

Alternativní historie z pera ekonoma Pavla Kohouta. V roce 1918, po rudém převratu, jsou uprostřed Ruska zmítaného občanskou válkou nejdisciplinovanější vojenskou silou československé legie. Jaký bude svět, až potřou bolševika a car Mikuláš se vrátí na trůn?


Živnostenská hádanka

Téma, které budí emoce. My je necháváme spát a s chladnou hlavou analyzujeme: je živnostník fackovací panák odborářů a jiných politiků, nebo reálný problém české ekonomiky? Čísla a fakta.

To je přece absurdní…

No právě. A teď jsme postaveni před situaci, že buď máme super schopnost omládnout při poslechu písniček Beatles, anebo můžeme pomocí metod, které jsou považovány za akceptovatelné, dospět k absurdnímu výsledku. Pravděpodobnější je spíš druhá varianta, která vychází z toho, že z velkého množství dat a možných statistických analýz můžete vybrat jen to zajímavé a ostatní zamlčíte. Výsledný článek je pak snadno falešně pozitivní – nelžete, protože jste si nic nevymysleli, ale zamlčeli jste to, co se nehodilo. V studii s Beatles totiž nebyl původní záměr zkoumat omlazovací účinky konkrétní písně – tak se pouze tvářil výsledný text. Ve skutečnosti autoři pustili lidem různé písničky, změřili spoustu dalších proměnných kromě věku a pak hledali v datech jakékoliv zajímavé vztahy tak dlouho, dokud nedosáhli zajímavého výsledku. Tato studie byla jen demonstrací, dá se ale čekat, že v praxi postupuje mnoho výzkumníků velmi podobně. Zvyšují tak šanci, že jejich práce bude publikovaná v některém z prestižních žurnálů. Někdo to celé nazývá replikační krize, pro mě je to spíš krize důvěryhodnosti. Právě proto, že se na výsledky, o kterých čteme v odborných žurnálech, nemůžeme spolehnout a bezpečně je používat v praxi – když studii nejde replikovat ani v laboratorním prostředí, jak potom asi budou výsledky fungovat v reálném životě?

Jak velký problém to je pro psychologii jako obor?

Trochu se obávám, že to je rozšířenější, než si lidé jsou ochotní připustit. Krize důvěryhodnosti poukázala na to, že ve vědě nefungují kontrolní mechanismy, takže se i desítky let mohly v literatuře udržet zcela vymyšlené výsledky. Například známý nizozemský psycholog Diederik Stapel si dlouhá léta vymýšlel výsledky všech svých studií a nikdy se mu nestalo, že by ho někdo konfrontoval s tím, že jeho výsledky nelze replikovat. To znamená, že byl buď opravdu jasnozřivý a všechno si vždycky vymyslel v souladu s realitou, nebo prostě současné vědecké praxi chybí klíčový prvek, a to sebe-korekce chybných závěrů.   

Jak na replikační krizi vědci reagovali?

Ti, jejichž výzkumy byly zpochybněny, se samozřejmě ozývali a všemožně zase zpochybňovali replikační studie. Například tak, že replikátoři prý nemají dostatečnou kvalifikaci nebo že účastníci nebyli dostatečně motivováni. Takže ta stará garda, která tímto způsobem dělala výzkum mnoho let a vybudovala na tom kariéru, teď může mít oprávněně pocit, že někdo chce zpochybňovat jejich celoživotní dílo a můžou to cítit jako osobní křivdu.

Říkáte, že s výsledky se manipulovalo i dřív. Jak to, že se o tom začalo mluvit až teď?

Je pravděpodobné, že takový stav existoval i desítky let. Dokonce si myslím, že se postupem času zhoršoval, protože bylo stále těžší objevit něco nového. Historicky se ale nikdy nepodařilo zasáhnout dostatečně velký okruh lidí, aby se o tématu začalo mluvit nahlas. Dnes se zejména díky internetu – Twitteru, Facebooku nebo novinářům jako Ed Yong – o problémech dozvěděla i nejširší veřejnost, studenti, a už to nešlo zastavit. Internet umožnil přeskočit existující hierarchii lidí, kteří dřív mohli informaci zastrčit do šuplíku.

Dá se takovým pochybným výzkumným praktikám nějak bránit?

Určitě ano. Věřím, že výsledkem této krize bude to, že se podaří najít lepší model, jak dělat vědu. Už se začíná experimentovat s předregistrovanými výzkumy. To znamená, že předem detailně popíšete, jak chcete výzkum provést a jak budete sbírat data. Nebo dokonce dopředu prakticky napíšete celý článek a pošlete do recenzního řízení. Pokud článek recenzním řízením projde, tak už jen doplníte sesbíraná data a publikaci máte jistou bez ohledu na výsledky

Takže zametání pod koberec už nehrozí?

Přímo ne, ale nepřímo ano. Diskuze kolem tohoto tématu jsou někdy skutečně velmi emotivní. A pokud se tábory rozdělí na ty dobré a špatné, začne zákopová válka a nic se nevyřeší. Už jsme došli opravdu daleko a pro vědu by to byla velká škoda.

Posvátná věda

Pomozte mi prosím pochopit jednu věc. Z čeho se skládá vaše ohodnocení jako vědeckého pracovníka?

Každé pracoviště to má nastavené jinak. Nejběžnější praxe je, že máme tabulkový plat a povinnost odučit určitý počet hodin. Zároveň musíme publikovat vědecké články, za které jsme odměňováni extra. Čím víc a v čím kvalitnějších žurnálech vyjdou, tím větší je výsledné ohodnocení.

Kolik takových článků musíte například ročně napsat?

Na Fakultě sociálních věd třeba dva za rok.

A cítíte se jako vědec pod tlakem?

To ani ne.

Ptám se, protože mě zajímá, proč vědci podvádějí.

Začal bych asi tím, že každý vědec chce zejména objevit něco nového nebo zajímavého. Na začátku má hypotézu, které často sám upřímně věří. Následný výzkum je ale pro někoho už je jen takové povinné cvičení, které má pro danou osobní pravdu poskytnout argumenty. Pokud k tomu někdo přistupuje takhle, dá se pochopit, že bude používat různé pochybné triky a vytáčky, zvlášť když jsou zcela v souladu s běžnou praxí v oboru. Je totiž velmi snadné přesvědčit sám sebe, že mám pravdu. To je ale spíš sebeklam než vědomé podvádění či falšování dat, jako to dělal Stapel.

Daniel Kahneman popsal celou řadu zkreslení a chyb v našem myšlení. Takže se do pasti nakonec chytne i profesionál?

I vědci jsou jen lidé. Ale to je přesně ono: kognitivní chyby, motivované uvažování, konfirmační zkreslení. To všechno je příčinou toho, že vědec, tak trochu s klapkami na očích, dojde k falešně pozitivnímu výsledku. A replikační krize ukázala, jakými cestami do výzkumu tyto zkreslující vlivy pronikají.

Říkáte, že za úspěšné a citované články máte peníze navíc. Nemůže to vést vědce i přímo ke skutečnému podvádění?

Jak jsem už říkal, většinu vědců motivuje hlavně touha poznávat a objevovat, nechtějí podvádět. Navíc podvádět jen kvůli penězům nedává moc smysl, protože spousta vědců by se bez problémů uplatnila v komerční sféře. Mám ale takovou teorii: sběr a vyhodnocování dat často zejména v zahraničí provádějí studenti. Ti si podle mého názoru velmi dobře uvědomují, že pokud výzkum nebude publikován, jejich několikaměsíční práce bude z hlediska jejich další kariéry v hyperkompetetivním prostředí západní akademie k ničemu. Být spolupodepsán na zajímavé studii znamená velkou a často jedinou šanci přeskočit mezeru mezi studiem a akademickou kariérou. Bez publikací je to naprosto nemožné. Takže si myslím, že asistenti jsou v důsledku mnohem víc motivováni tomu „pomoct“ nejen pochybnými praktikami, ale například i falšováním dat.

A zatajit to vedoucímu.

Ano, protože to je v jejich zájmu. Vedoucí se obvykle nebude hrabat v datech, aby si asistenty zkontroloval, to by to rovnou mohl dělat celé sám.

To neexistuje žádná kontrola, která by mohla podvody odhalit?

Recenzní řízení samozřejmě probíhá, ale v naprosté většině případů recenzent posuzuje pouze argumentaci nebo metodologii, data si málokdy vyžádá. Přitom už to dnes není velký problém. Dřív by recenzent musel procházet štos papírů, dnes stačí otevřít statistický program, nahrát data a zkontrolovat, jestli vycházejí alespoň stejné výsledky, které jsou publikované v článku. Jedna nedávná studie zjistila, že u téměř poloviny ekonomických článků nebylo možné zopakovat původní výsledky ani na stejném datasetu.

Marek Vranka

Marek Vranka

Ročník 1988. Vystudoval psychologii na FF UK a Podnikovou ekonomiku a management na VŠE. Od roku 2013 vede Experimentální laboratoř PLESS při katedře psychologie FF UK, kde mimo jiné také vyučuje – stejně jako na katedře marketingové komunikace a PR. Publikační činnost.

Pokud tomu dobře rozumím: probíhající krize odhalila, že celá řada výzkumů není důvěryhodná. Nepřijde mi, že by tato informace pronikla na veřejnost.

V České republice se o tom určitě nijak významněji nemluvilo.

To je zvláštní…

Není tu početné publikum ani dostatek vědeckých novinářů. Navíc ten problém je složité vysvětlit v jednom titulku. Aby mohla média psát o vědě, musí to čtenářům nebo divákům maximálně zjednodušit. A to může přinést víc špatného než dobrého. Pokud by se nyní v médiích objevila informace, že vědecký výzkum není důvěryhodný, běžný člověk si řekne, že už je „všechno jedno“. To samozřejmě není pravda. Vždyť polovinu výzkumů se replikovat podařilo, takže všechno vymyšlené není.

V zahraničí se o tom diskutovalo víc?

Ano, nesrovnatelně. Kromě diskuzí na Twitteru a blozích, vyšel článek například v Economistu a další popularizační články v mnoha dalších médiích. Nedávno se tématu částečně věnoval i John Oliver ve svém pořadu na HBO.

Věda je považována za posvátnou disciplínu, za takovou poslední instanci pravdy. Došli jsme ale k tomu, že i ve vědě jsou jen lidé, kteří mají své úmysly a dělají chyby…

A to je naprosto v pořádku. Věda sama o sobě není posvátná kráva a automatická záruka pravdy. Naopak je to proces, který slouží k odhalování chyb, a to i těch, které do tohoto procesu vnášejí sami lidé. Chápu, že bychom chtěli všechno zjednodušit a na první pohled vědět, co je pravda a co ne. To je ale naivní a nebezpečné zároveň. Uspává to kritické myšlení a to bychom neměli připustit.

Vojtěch Hodboď

Vojtěch Hodboď

Vystudoval žurnalistiku na Fakultě sociálních věd Univerzity Karlovy, kde nyní pokračuje na mediálních studiích. Zajímá se o psychologii a nová média. Při škole pomáhal zakládat a rozjet startup Storyous, ze kterého po čtyřech... Více o autorovi.

Komentáře

Celkem 2 komentáře v diskuzi

Příspěvek s nejvíce kladnými hlasy

Zdeněk Gardelka | 26. 9. 2017 16:52

Problémem nereplikovatelných studií trpí psychologie velmi dlouho. Mluvil o ní v roce 1974 Richard Feynman v projevu ke studentům na CalTech, když vysvětloval jak si udržet vědeckou integritu a správně přistupovat k experimentům. Podle toho co říkal a jak vývoj psychologie sledoval jím trpěla již od roku 1935.

Překlad projevu k dispozici na oslu:
http://www.osel.cz/8443-richard-feynman-cargo-cult-science.html

Stojí za to přečíst celý článek, ale dovolím si citovat pasáže kde přímo zmiňuje psychologii.

Citace:
...
Další chyby jsou charakteristické pro slabou vědu. Když jsem byl v Cornell, tak jsem často mluvil s lidmi z oddělení psychologie. Jedna ze studentek mi řekla, že chce udělat následující experiment. Dříve bylo zjištěno, že potkani v podmínkách X mají tendenci se chovat způsobem A. Ji zajímalo, jestli v podmínkách Y budou potkani stále dělat A. Tak navrhla experiment s podmínkami Y, aby zjistila, jestli potkani stále dělali A.

Vysvětlil jsem ji, že je nezbytné nejprve v její laboratoři zopakovat původní experimenty s podmínkami X, aby bylo vidět, že výsledek A může získat i ona, a poté teprve zkoušet podmínky Y a sledovat, jestli se chování A změnilo. Poté by věděla, jaké jsou reálné rozdíly v chování. Studentka byla tímhle návrhem nadšená a šla za svým profesorem, aby mu tento návrh experimentu přednesla. Profesorova odpověď byla negativní, protože opakování jednou provedeného experimentu by byla ztráta času. Tak to bylo v roce 1935 a toto zhruba odpovídalo obecnému přesvědčení – neopakovat psychologické experimenty, ale pouze dělat experimenty ve změněných podmínkách a sledovat, co se bude dít.

...

Ne všechny výsledky v psychologii jsou „cargo cult science“. Například existuje mnoho experimentů s potkany v různých bludištích s málo jasnými výsledky. Ale v roce 1937 Young udělal velmi zajímavý experiment. Udělal dlouhou chodbu s řadou dveří. Young chtěl zjistit, jestli může naučit potkany, aby zahnuli vždy do třetích dveří od místa, kde byli do chodby vloženi. Místo toho potkani zaběhli vždy do dveří, kde našli jídlo minule.

Otázkou bylo, jak potkani věděli, které dveře navštívili naposledy, protože koridor byl naprosto uniformní. Zcela jistě muselo být ale něco, podle čeho se potkani orientovali. Young znovu velmi pečlivě natřel celou chodbu a ujistil se, že všechna dvířka jsou naprosto stejná. Potkani ale stále nějakým způsobem byli schopni se v této chodbě orientovat a najít dveře, kde našli jídlo minule. Pak si uvědomil, že by se potkani mohli orientovat podle světel v jeho laboratoři, takže chodbu zakryl. Ani toto nefungovalo.

Nakonec objevil, že potkani se orientovali podle zvuků, které dělala podlaha chodby, když po ní běhali, což napravil postavením bludiště na písečný podklad, což konečně vedlo k tomu, že se potkani naučili běhat do 3. dveří od místa, kde byli do chodby vloženi. Tady vidíme, jak Young postupně vyloučil všechny možné orientační body. Když povolil jedinou z podmínek, tak se potkani zase začali v chodbě orientovat.

Z vědeckého pohledu toto je špičkový experiment. Tento experiment dává smysl všem experimentům s potkany v bludišti, protože odkrývá všechny způsoby, jak se může potkan v bludišti orientovat – ne ty způsoby, o kterých si experimentátoři myslí, že se jimi potkan orientuje. Výsledky tohoto experimentu říkají, které všechny podmínky je potřeba kontrolovat, pokud chceme mít smysluplné výsledky.

Podíval jsem se na následující historii tohoto výzkumu. Další experimenty nikdy neodkazovaly na výsledky Mr. Younga. Nikdy nepoužily kritéria odhalená Youngem – jejich bludiště nebyla umístěna na písku, nebo nesplňovala nezbytnou extrémní pečlivost. Prostě pokračovali ve starých zažitých postupech a nevěnovali pozornost Youngovi, proto neobjevil nic o potkanech. Young ve skutečnosti objevil všechno, co je nezbytné k tomu, aby bylo možné objevit něco o potkanech. Nevěnování pozornosti experimentům tohoto typu je charakteristické pro „cargo cult science“.
...

+46
+
-

Příspěvek s nejvíce zápornými hlasy

29. 9. 2017 07:59

Neexaktní věda je oxymoron.

-4
+
-

Při poskytování služeb nám pomáhají soubory cookie. Používáním našich služeb nám k tomu udělujete souhlas. Další informace.

OK