Psühholoogilised uuringud olid enam kui 50% juhtudest valed

2024 Autor: Seth Attwood | [email protected]. Viimati modifitseeritud: 2023-12-16 16:03

On olemas "tugevad poosid", mis suurendavad enesekindlust ja vähendavad stressihormoone. Kui inimesed hoiavad käes tassi sooja joogiga, muutuvad nad ümbritsevate suhtes sõbralikumaks. Tahtejõud on ressurss, mida kulutame, kui kiusatusele vastu paneme. Tasustamise edasilükkamise oskus määrab lapse edasise edu.

Need väited on üksteisega väga sarnased: nende taga on tuntud psühholoogiauuringud, populaarteaduslikud bestsellerid, populaarsete ajakirjade kolumnid ja TED-kõnelused.

Neil on ka veel üks ühine joon: nad kõik osutusid valeks.

Reprodutseeritavuse kriis on seadnud kahtluse alla terved teadusvaldkonnad. Paljusid tulemusi, mida meedias laialdaselt tsiteeriti, peetakse nüüd liialdatuks või valeks. Kui teadlased üritasid korrata nii klassikalisi kui ka hiljutisi psühholoogilisi eksperimente, olid tulemused üllatavalt järjekindlad – umbes pooled juhtumid olid edukad ja teine pool ebaõnnestus.

Kriis sai lõpuks ilmsiks 2015. aastal, kui Brian Noseki juhitud teadlased kontrollisid 100 psühholoogilist uuringut. Esialgseid tulemusi suutsid nad saavutada vaid 36 juhul. Lanceti peatoimetaja Richard Horton teatas peagi:

«Süüdistused teaduse vastu on üsna otsekohesed: vähemalt pool teaduskirjandusest on lihtsalt valed. Väikese valimiga, nappide mõjude ja ebakorrektsete analüüsidega uuringute ning kahtlase tähtsusega moesuundade kinnisidee all kannatades on teadus võtnud pöörde teadmatuse poole.

Reprodutseeritavus on üks teaduslike teadmiste põhinõudeid. Mida paremini tulemust reprodutseeritakse, seda usaldusväärsem see on – ainult nii saab tegelikke mustreid lihtsatest kokkusattumusest eraldada

Kuid selgus, et seda nõuet ei täideta alati.

Kriis sai alguse meditsiinist, kuid enim mõjutas see psühholoogiat. 2018. aasta suvel üritasid teadlased korrata valikut psühholoogilisi uuringuid, mis avaldati maailma mainekamates teadusajakirjades Science and Nature. 21 katsest leidis kinnitust vaid 13 – ja isegi nendel juhtudel olid esialgsed tulemused umbes 50% liialdatud.

Sageli kukuvad reprodutseeritavuse testi läbi need uuringud, mida meedias laialdaselt korrati ja mis suutsid avalikku teadvust mõjutada. Näiteks teosed, mida otsingumootorid halvendavad mälu, ja ilukirjanduse lugemine arendab empaatiavõimet. Kui korduvad katsed ebaõnnestuvad, ei tähenda see, et algsed hüpoteesid oleksid väärtusetud. Kuid nende tõestamiseks on nüüd vaja paremaid uuringuid.

Kuidas statistika abil tulevikku ennustada

2011. aastal avaldas kuulus Ameerika psühholoog Daryl Boehm artikli, mis tõestas selgeltnägemise võimalikkust. See järeldus ei olnud tema vägivaldse kujutlusvõime tulemus, vaid põhines aastakümnete pikkusel uurimistööl, milles osales sadu inimesi. Paljud kahtlustasid, et Boehm otsustas korraldada midagi Sokali kelmuse taolist ja paljastada psühholoogia võltsartiklis, millel on teadlikult absurdsed järeldused. Kuid kõigi metoodiliste standardite järgi oli artikkel väga veenev.

Ühes Behmi katses asetati osalejate ette kaks ekraani – nad pidid ära arvama, milline pilt on peidus. Pilt genereeriti juhuslikult kohe pärast valiku tegemist. Kui osalejad tegid head tööd, viitaks see sellele, et nad oskavad kuidagi tulevikku ette näha. Katses kasutati kahte tüüpi pilte: neutraalseid ja pornograafilisi.

Boehm oletas, et kui kuues meel on olemas, on sellel tõenäoliselt iidne evolutsiooniline päritolu. Kui jah, siis on tõenäolisem, et see on häälestatud meie kõige iidseimate vajaduste ja tungidega

Osalejad arvasid pornograafilisi pilte 53% juhtudest – pisut sagedamini kui peaks, kui need oleksid puhas juhus. Arvestades eksperimentide suurt hulka, võib Boehm väita, et ettenägelikkus on olemas.

Hiljem avastasid eksperdid, et tulemuste analüüsimisel ei kasutanud ta päris õigeid meetodeid. Reeglina loetakse uuringutulemus usaldusväärseks, kui tõenäosus, et see on saadud juhuslikult, ei ületa 5%. Kuid selle väärtuse vähendamiseks vajaliku tasemeni on palju võimalusi: muuta analüüsi esialgseid parameetreid, lisada või eemaldada valimist vajalik arv näiteid, kasutada pärast andmete kogumist edukamaid hüpoteese.

Probleem on selles, et mitte ainult Boehm, vaid ka paljud teised teadlased kasutasid samu tehnikaid. 2011. aasta uuringu järgi tunnistasid seda ligi pooled psühholoogid

Kui selgeltnägijate artikkel ilmus, mõistsid sotsiaalteadlased Joseph Simmons, Leaf Nelson ja Uri Simonson, et teadus on teel oma hävingu poole. Nad ehitasid mitu arvutimudelit ja leidsid, et kasutades üsna standardseid statistilisi tehnikaid, saate valepositiivsete tulemuste taset mitu korda tõsta. See tähendab, et vormiliselt teaduslikud meetodid võivad kergesti viia täiesti absurdsete järeldusteni.

Selle illustreerimiseks viisid teadlased läbi eksperimendi, mis kinnitas, et laulu "When I'm Sixty-four" kuulamine muudab kuulaja poolteist aastat nooremaks.

«Kõik teadsid, et selliste võtete kasutamine on vale, kuid nad arvasid, et see on oma tähenduses rikkumine – nagu tee ületamine vales kohas. See osutus rohkem nagu pangarööv,”lõpetas Simmons.

Kuidas eristada halbu uuringuid heast

Peagi sai selgeks, et reprodutseeritavuse küsimused ei piirdu ainult psühholoogiaga. Vähiuuringutes toetatakse teaduslikke tõendeid 10–25% juhtudest. Majandusteaduses ei suutnud 18 laborikatset 7 kordada. Ka tehisintellekti uuringud näitavad kriisi märke.

Kuid näib, et usu kaotamine teadusesse ei ole ikka veel seda väärt. Teadlased on juba välja pakkunud mitmeid viise, mis on oluliselt parandanud uute uuringute usaldusväärsust ja kvaliteeti

Mitu aastat tagasi ei avaldanud peaaegu keegi korduvate katsete tulemusi, isegi kui need tehti. Seda ei aktsepteeritud, see ei toonud toetusi ega aidanud kaasa edukale teaduskarjäärile. Looduse uuringu kohaselt on üle 70% psühholoogidest püüdnud teiste inimeste uuringuid reprodutseerida ja ebaõnnestunud, umbes pooled pole suutnud oma omi korrata ja peaaegu keegi pole püüdnud neid tulemusi avalikustada.

Kui reprodutseeritavuse kriis ilmnes, on palju muutunud. Korduv uurimine muutus järk-järgult igapäevaseks; katseandmeid hakati avalikus omandis üha sagedamini avaldama; ajakirjad hakkasid avaldama negatiivseid tulemusi ja registreerima uurimistöö üldist plaani juba enne nende algust.

Uuringud on muutunud ulatuslikumaks - psühholoogias üsna standardne 30–40 inimesest koosnev valim sobib nüüd väga vähestele. Suured rahvusvahelised organisatsioonid – näiteks Psychological Science Accelerator – katsetavad samu hüpoteese mitmes laboris üle maailma.

Enne ajakirja Nature and Science artiklite kontrollimist, millest alguses kirjutasime, paluti teadlastel loosimiste peale panuseid teha. Nad pidid ennustama, milline uurimus läbib testi ja milline ebaõnnestub. Üldiselt olid määrad väga täpsed. "See tähendab esiteks seda, et teadlaskond suudab ennustada, milliseid teoseid on võimalik korrata, ja teiseks, et uuringu kordamise võimatus ei olnud pelgalt juhus," ütlevad eksperimendi korraldajad.

Teadlased suudavad üldiselt hästi eristada usaldusväärseid uuringuid ebausaldusväärsetest – see on hea uudis. Nüüd püüavad avatud teaduse keskuse eksperdid koos agentuuriga DARPA luua algoritmi, mis täidaks sama ülesande ilma inimese sekkumiseta.

Igal aastal avaldatakse liiga palju artikleid, et kasvõi väikest osa neist käsitsi uuesti kontrollida. Kui tehisintellekt läheb asja ette, on kõik palju lihtsam.

Juba esimestel katsetel tuli AI ennustustega edukalt toime 80% juhtudest.

Mis muudab uuringud kõige sagedamini ebausaldusväärseks? Väikesed valimid, arvude ebakõlad, liiga ilus hüpoteeside kinnitus. Ja ka - soov sensatsioonide järele ja liiga lihtsad vastused keerulistele küsimustele.

Liiga hea, et olla tõsi

Lihtsaim viis sensatsioonilise uurimistöö loomiseks on petmine. Kuulus sotsiaalpsühholoog Diederik Stapel kasutas fabritseeritud andmeid mitmekümnes teadusartiklis. Stapeli teadustöö levis ajalehtede ja ajakirjade vahendusel suure hooga, ta pälvis mitmeid mainekaid teadusauhindu, ilmus ajakirjas Science ja teda peeti üheks oma ala suurimaks spetsialistiks.

Kord selgus, et Stapel ei teinud pikka aega üldse uurimistööd, vaid mõtles lihtsalt andmed välja ja andis need õpilastele analüüsimiseks.

See on teaduses väga haruldane. Palju sagedamini tekivad valjud, kuid ebaõiged väited muudel põhjustel. Inimesed otsivad meeleheitlikult lihtsaid, arusaadavaid ja tõhusaid vastuseid põnevatele küsimustele. Väga lihtne võib tekkida kiusatus arvata, et teil on need vastused olemas, isegi kui te seda tegelikult ei tee. Lihtsuse ja kindluse poole püüdlemine on üks peamisi põhjuseid, miks paljud uuringud ei suuda reprodutseeritavust testida. Siin on mõned tähelepanuväärsed näited.

Vahukommi eksperiment

Eksperimendis paluti lastel valida ühe väikese preemia – näiteks vahukommi – vahel, mille võis saada kohe, ja topeltpreemia vahel, kui nad saavad natuke oodata. Hiljem selgus, et teise auhinna saanud lapsed said täiskasvanueas edukamaks. Uuring sai väga populaarseks ja mõjutas mõnda kooli õppekava.

2018. aastal korrati katset laiemal valimil. Selgus, et rikkus perekonnas on palju olulisem tegur, millest sõltub ka enesekontrolli tase.

"Poosid tugevus" ja "Poses of Weakness"

Eksperimendis osalejad võtsid kahe minuti jooksul ühe kahest poosist: nad nõjatusid toolil ja viskasid jalad lauale ("jõupoos") või ristasid käed rinnal ("nõrkuspoos"). Selle tulemusena tundsid esimese grupi osalejad end enesekindlamalt ja olid sagedamini nõus hasartmängudes riskima. Need, kes istusid tugevas asendis, tõstsid oma testosterooni taset ja need, kes istusid nõrgas asendis, suurendasid kortisooli. Korduvates katsetes reprodutseeriti ainult üks efekt: "jõuasendid" aitasid osalejatel end enesekindlamalt tunda, kuid ei muutnud nende käitumist ega hormonaalseid parameetreid.

Seosed vanadusega panevad liikuma aeglasemalt

Eksperimendis osalejatel paluti lahendada mitu mõistatust. Kui neisse sisestati sõnu, mida seostatakse vanadusega - "unustav", "eakas", "üksik" -, siis lahkusid osalejad ruumist aeglasemas tempos.

Viimaste katsetuste käigus õnnestus katset korrata vaid ühel juhul: kui katsetajad ise teadsid, et testides vihjasid osalejad vanadusele. Mõju ise püsis, aga põhjused olid juba teised.

Soojad esemed muudavad inimesed sõbralikumaks

Eksperimendis osalejatel lasti lühikest aega käes hoida tassi kuuma või külma kohvi ning seejärel paluti neil anda hinnang inimese isiksust lühikirjelduse abil. Kuuma kohvi tassi käes hoidnud osalejad hindasid inimest sümpaatsemaks. Teises katses anti osalejatele ese soojas või külmas pakendis ja paluti see siis alles jätta või sõbrale anda. Kui ese oli pakendatud sooja pakendisse, valisid osalejad tõenäolisemalt teise variandi. Korduvad katsed laiema valimiga selliseid tulemusi ei andnud. Tundub, et soojad riided ei tee sinust altruisti.

Tahtejõud on ammendunud, kui kiusatustele vastu seisame

Katses osalejate ette asetati kaks taldrikut - küpsiste ja redistega. Esimeses rühmas tohtisid osalejad süüa küpsiseid ja teises ainult rediseid. Seejärel paluti igal osalejal lahendada võimatu mõistatus. Osalejad, kes sõid katse esimeses osas ainult rediseid, loobusid teistest palju varem. Korduvates katsetes tulemused ei leidnud kinnitust.

Mõnel juhul enesekontrollivõime ei ammendunud, vaid aja jooksul isegi tugevnes. Paljud psühholoogid peavad praegu mõistet "tahtejõud" liiga lihtsustatuks.

Maailma psühholoogias on juba palju ära tehtud, et muuta teadusuuringud usaldusväärsemaks ja reprodutseeritavamaks. Venemaal tuleb seda probleemi veel hoomata.

"Vene psühholoogias puudutavad kriisi probleemid peamiselt teadusnoort, kes on suures osas orienteeritud lääne teadusele," ütles RANEPA dotsent Ivan Ivanchey väljaandele Knife. - Kontroll venekeelsete väljaannete kvaliteedi üle ei ole üldiselt kuigi kõrge. Ajakirjad lükkavad harva artikleid tagasi, mistõttu avaldatakse palju madala kvaliteediga uuringuid. Sageli kasutatakse väikeseid proove, mis vähendab ka eduka paljunemise tõenäosust. On kahtlus, et kui venekeelsete teoste reprodutseeritavuse küsimusega tõsiselt tegeleda, võib avastada palju probleeme. Kuid keegi pole sellega otseselt seotud."

2019. aasta jaanuaris sai teatavaks, et Venemaa valitsus kavatseb oluliselt laiendada teadlastele esitatavaid nõudeid publikatsioonide arvu osas: aastas ilmuvate artiklite miinimumarv peaks kasvama 30-50%.

Mõjuka akadeemiku "1. juuli klubi" teadlased kritiseerisid algatust: "Teaduse ülesanne ei ole toota maksimaalselt publikatsioone, vaid uurida universumit ja saada inimkonna jaoks kasu saadud teadmistest." Tõenäoliselt suurendavad uued nõuded probleemi ulatust.

Lugu reprodutseeritavuse kriisist ei ole lugu saabuvast apokalüpsisest ja barbarite pealetungist. Kui kriisi poleks saabunud, oleks kõik olnud palju hullem: me viitaksime ikkagi ekslikele uuringutele täie kindlusega, et teame tõde. Võib-olla hakkab läbi saama selliste julgete pealkirjade aeg nagu "Briti teadlased on tõestanud". Kuid kuulujutte, et teadus on surnud, tuleks pidada mõnevõrra liialdatuks.