Veelal op drijfzand gebaseerd
Psychologische studies
Bijna tweederde van de gepubliceerde psychologische onderzoeken levert wezenlijk andere uitkomsten op bij een poging om de experimenten te reproduceren.
Gelezen: Science 28 augustus 2015, Volkskrant, 28 augustus 2015
De afgelopen vier jaar heeft een internationale groep van 270 psychologen – onder wie 45 Nederlanders – zo’n honderd publicaties uit drie vooraanstaande psychologische vakbladen van de jaargang 2088 opnieuw tegen het licht gehouden.
“Slechts van 39 procent van de oorspronkelijke studies werden de belangrijkste resultaten met succes gereproduceerd. Bij 83 procent bleken de cijfers bij herhaling minder sterk; en gemeten effecten bleken in de herhaling gemiddeld nog maar half zo groot.”
De Leidse hoogleraar Bernhard Hommel (foto) ziet zijn bevinding dat tweetalige mensen zich beter kunnen concentreren in rook opgaan.
Initiatiefnemer Brian Nosek van de universiteit van Virginia leidde het initiatief. Over de vastgestelde manipulatie zegt hij tegen de krant: “Nieuwe, positieve en mooie resultaten hebben meer kans om door de selectie en in de vakbladen te komen. Daardoor kan het gebeuren dat negatieve resultaten juist worden weggelaten. De gepubliceerde vakliteratuur kan zo mooier worden dan de werkelijkheid.”
John Ioannidis, voorloper in falsificatie, zegt te vermoeden dat dit nog een florissante uitkomst is omdat de beste vakbladen zijn genomen voor de testen. “Dat doet vermoeden dat van de hele psychologische literatuur misschien wel 80 procent of meer niet klopt.”
Nosek citeert op zijn website Einstein: “All our science, measured against reality, is primitive and childlike – and yet it is the most precious thing we have.”
Peter Olsthoorn | 28-08-15 08:59
Reacties
Bernhard Hommel | 28/08/15 om 21:18
“Veelal”, “drijfzand”, nou ja. Ik vrees dat we hier precies hetzelfde probleem tegen komen dat Nosek benadrukt: Selectief testen. Ik heb zo rond de 50 basale bevindingen in zo’n 300 artikelen gepubliceerd, en geschatte 95% daarvan zijn door andere labs succesvol gerepliceerd. De overige 5% komen dus ongeveer op de 5% foutwaarschijnlijkheid neer waarop onze hele wetenschappelijke statistiek is gebaseerd (wat betekend dat gemiddeld 5% van alle bevindingen voor puur statistische redenen niet repliceert kunnen worden). Het is logisch dat iemand die een replicatieproject opstart geen effect gaat testen die al vaker gerepliceerd kon worden maar effecten voor die dat niet geldt. De kans daarmee daadwerkelijk te scoren is dus torenhoog en dus zijn de bevindingen van het replicatieproject niet echt verassend. Natuurlijk neemt dat niet weg dat dit belangrijk werk is en ik was wel onder de indruk hoe zorgvuldig het experiment van ons werd (dus niet) gerepliceerd—ik zeg wel erbij dat onze bevinding eerder al door een Belgische lab wel kon worden gerepliceerd. Mijn voorstel dus: kritisch blijven kijken (naar artikelen maar ook naar replicaties) maar niet in paniek raken…