Umbes 50% teaduslikest katsetest osutus MITTE reprodutseeritavateks

2024 Autor: Seth Attwood | [email protected]. Viimati modifitseeritud: 2023-12-16 16:03

Juhuslikult, uudiste ja teabe voos, sattusin ajakirjas Nature Scientific Reports artiklini. See esitab 1500 teadlase seas läbiviidud uuringu andmed teadusuuringute tulemuste reprodutseeritavuse kohta. Kui varem tõstatati see probleem bioloogiliste ja meditsiiniliste uuringute jaoks, kus see on ühelt poolt seletatav (valekorrelatsioonid, uuritavate süsteemide üldine keerukus, mõnikord süüdistatakse isegi teadustarkvara), siis teisalt on sellel fenomenoloogiline. iseloom (näiteks hiired kipuvad erinevast soost teadlastega (1 ja 2) erinevalt käituma).

Siiski ei ole kõik sujuv ja koos rohkemloodusteadused nagu füüsika ja tehnika, keemia, ökoloogia. Näib, et just need distsipliinid põhinevad "absoluutselt" reprodutseeritavatel katsetel, mis on läbi viidud kõige kontrollitud tingimustes, paraku hämmastav - selle sõna igas mõttes - küsitluse tulemus: kuni 70%uurijad silmitsi Ei ole reprodutseeritavmitte ainult teiste teadlaste rühmade katsed ja tulemused, AGA ja avaldatud teadustööde autorite / kaasautorite poolt!

Kas iga tiib kiidab oma soo?

Kuigi 52% vastanutest viitab teaduse reprodutseeritavuse kriisile, peab avaldatud andmeid põhimõtteliselt ebaõigeks alla 31% ja enamik märkis, et usaldab avaldatud tööd siiski.

Muidugi ei tasu kogu teadust kui sellist ainult selle küsitluse põhjal õlga maha lüüa ja lintšida: pooled vastanutest olid ikkagi ühel või teisel moel bioloogiliste distsipliinidega seotud teadlased. Nagu autorid märgivad, on füüsikas ja keemias reprodutseeritavuse ja saadud tulemuste usaldusväärsus palju kõrgem (vt allolevat graafikut), kuid siiski mitte 100%. Aga meditsiinis on asjad ülejäänutega võrreldes väga halvasti.

Nali tuleb meelde:

Inglismaa Bristoli ülikooli bioloogiline psühholoog Marcus Munafo tunneb pikka aega huvi teadusandmete reprodutseeritavuse vastu. Meenutades oma tudengiaega, ütleb ta:

Kord üritasin reprodutseerida kirjandusest üht katset, mis tundus mulle lihtne, aga ma lihtsalt ei saanud sellega hakkama. Mul oli usalduskriis, kuid siis mõistsin, et minu kogemus polnud sugugi haruldane.

Laius- ja pikkuskraadi sügavuse probleem

Kujutage ette, et olete teadlane. Avastate huvitava artikli, kuid tulemusi / katseid ei saa laboris reprodutseerida. Loogiline on sellest kirjutada originaalartikli autoritele, küsida nõu ja esitada täpsustavaid küsimusi. Küsitluse järgi vähem kui 20%on seda kunagi oma teadusliku karjääri jooksul teinud!

Uuringu autorid märgivad, et võib-olla on sellised kontaktid ja vestlused teadlastele endile liiga keerulised, sest paljastavad nende ebakompetentsuse ja ebajärjekindluse teatud küsimustes või paljastavad liiga palju käimasoleva projekti detaile.

Veelgi enam, absoluutne vähemus teadlasi püüdis avaldada ümberlükkamatuid tulemusi, seistes silmitsi toimetajate ja arvustajate vastuseisuga, nõudispisendada võrdlust algse uurimistööga. Kas on ime, et võimalus teatada teadustulemuste mittereprodutseeritavusest on umbes 50%.

Võib-olla tasub siis teha vähemalt laboris sees reprodutseeritavuse test? Kõige kurvem on see, et kolmandik vastanutest isegi MITTE KUNAGIja ei mõelnud andmete reprodutseeritavuse kontrollimise meetodite loomisele. ainult 40%märkis, et nad kasutavad selliseid tehnikaid regulaarselt.

Teine näide, Ühendkuningriigi biokeemik, kes ei soovinud oma nime avaldada, ütleb, et katsed tema laboriprojekti töid korrata, taasesitada lihtsalt kahekordistavad aja- ja materjalikulu, andmata või lisamata tööle midagi uut. Täiendavad kontrollid viiakse läbi ainult uuenduslike projektide ja ebatavaliste tulemuste puhul.

Ja muidugi igavesed vene küsimused, mis väliskolleege piinama hakkasid: kes on süüdi ja mida teha?

Kes on süüdi?

Töö autorid tõid välja kolm peamist tulemuste reprodutseeritavuse probleemi:

• Ülemuste surve avaldada teos õigel ajal
• Valikuline aruandlus (ilmselt tähendab see teatud andmete mahasurumist, mis "rikuvad" kogu pildi)
• Ebapiisav andmeanalüüs (sh statistiline)

Mida teha?

1500 küsitletust üle 1000 spetsialisti pooldas statistika parandamist andmete kogumisel ja töötlemisel, ülemustepoolse järelevalve kvaliteedi parandamist ning katsete rangemat planeerimist.

Järeldus ja isiklik kogemus

Esiteks, isegi minu kui teadlase jaoks on tulemused vapustavad, kuigi olen harjunud tulemuste teatud määral reprodutseerimatusega. See on eriti ilmne hiinlaste ja indiaanlaste tehtud töödes ilma kolmanda osapoole "auditita" Ameerika / Euroopa professorite näol. Hea, et probleem teadvustati ja selle lahendus(te)le mõeldi. Venemaa teadusest vaikin taktitundeliselt, seoses hiljutise skandaaliga, kuigi paljud teevad oma tööd ausalt.

Teiseks, artikkel eirab (õigemini ei käsitle) teadusmõõdikute ja eelretsenseeritavate teadusajakirjade rolli uurimistulemuste reprodutseerimatuse probleemi tekkimises ja arengus. Publikatsioonide kiiruse ja sageduse poole püüdledes (loe, tsiteeritavate indeksite tõus) langeb kvaliteet järsult ning tulemuste täiendavaks kontrollimiseks ei jää aega.

Nagu öeldakse, on kõik tegelased väljamõeldud, kuid põhinevad tõsistel sündmustel. Kuidagi oli ühel tudengil võimalus artiklit retsenseerida, kuna igal professoril ei jätku aega ja jõudu artikleid läbimõeldult lugeda, seega kogutakse kokku 2-3-4 üliõpilase ja doktori arvamus, millest kujuneb ülevaade. Kirjutati ülevaade, see näitas tulemuste reprodutseerimatust artiklis kirjeldatud meetodil. Seda demonstreeriti professorile selgelt. Kuid selleks, et mitte rikkuda suhteid "kolleegidega" - neil ju kõik õnnestub -, tehti ülevaade "parandatud". Ja selliseid artikleid on avaldatud 2 või 3.

Selgub nõiaring. Teadlane saadab artikli ajakirja toimetajale, kus märgib " soovitud"Ja peamiselt," soovimatu »Arvustajad, see tähendab, et jätavad ainult need, kes on autorite kollektiivi positiivselt meelestatud. Nad vaatavad töö üle, kuid ei saa “kommentaarides paskeerida” ja proovivad valida kahest kurjast väiksemat - siin on nimekiri küsimustest, millele tuleb vastata, ja siis avaldame artikli.

Teine näide, millest Nature'i toimetaja vaid kuu aega tagasi rääkis, on Grazeli päikesepaneelid. Kuna teadusringkonnad tunnevad selle teema vastu tohutut huvi (lõppude lõpuks tahavad nad ikkagi artiklit Nature'is!), pidid toimetajad looma spetsiaalse küsimustiku, milles nad peavad märkima palju parameetreid, esitama seadmete kalibreerimise, sertifikaadid. jne, et kinnitada, et tõhususe paneelide mõõtmise meetod vastab teatud üldpõhimõtetele ja standarditele.

JA, kolmandaks, kui taaskord kuuled imevaktsiinist, mis võidab kõik ja kõik, siis uus lugu seelikus Jobsist, uutest patareidest või GMO-de ohtudest/kasudest või nutitelefonide kiirgusest, eriti kui seda propageerisid ajakirjandusest pärit kollased kirjanikud, siis suhtu mõistvalt ja ära tee ennatlikke järeldusi. Oodake tulemuste kinnitust teiste teadlaste rühmade poolt, massiivi ja andmeproovide kogunemist.

PS:Artikkel on tõlgitud ja kirjutatud kiirustades, kõigist märgatud vigadest ja ebatäpsustest kirjutage LAN-i.