Leugens.nl

Kijk eens naar de statistiek van onderzoek 

Significantiejacht in sociale wetenschap

Het uitblijven van het beoogde resultaat is voor veel sociale wetenschappers waaronder promovendi het startsein voor de significantiejacht.

VSNU-voorzitter Noorda noemt het weglaten van statistische informatie om de conclusies van wetenschappelijke artikelen te verfraaien een ‘dagelijkse zonde’. Verbazingwekkend, omdat Noorda hiermee de hoofdoorzaak voor de onbetrouwbaarheid van sociaalwetenschappelijke onderzoeksresultaten miskent.

Wat is het geval? Sociaal-wetenschappelijk en ander statistisch geaard onderzoek is op steekproeven gebaseerd. Iedere steekproef heeft zijn eigen toevallige afwijkingen. Tamelijk willekeurig is afgesproken om alleen de 5 procent sterkste afwijkingen in de steekproefverdeling serieus te nemen: significantie-toetsing op het 5%-niveau.

Andere percentages treffen we veel minder aan. Het betekent dat, ook als er niets aan de hand is en dus geen enkel effect in de populatie, in 5 procent van de gevallen wordt besloten tot een (‘significant’) effect of resultaat.

Dat foutenpercentage van 5 is al heel wat maar hoe gaat het in de praktijk? Het uitblijven van het beoogde resultaat is voor veel sociale wetenschappers waaronder promovendi het startsein voor de significantiejacht.

Dit kan worden geïllustreerd aan de hand van een enquêteonderzoek, bijvoorbeeld naar houdingen en meningen met betrekking tot voeding. Dat zal al gauw 100 of meer vragen omvatten (een vraag gaat bijvoorbeeld over vlees eten en het antwoord op een andere vraag wordt indicatief geacht voor de ‘hufterigheid’ van de respondent).

100 vragen geven 4.950 samenhangen tussen vragen en deze gemiddeld weer 5 procent of 248 significante samenhangen, ook als er geen enkele samenhang in de populatie is.

Een respectabel aantal, waaruit verschillende proefschriften kunnen worden samengesteld, zogenaamd uitsluitend uit ‘ significante’ resultaten bestaand. Er wordt helaas niet vermeld dat tegenover de significante resultaten 4.702 niet-significante stonden die zijn weggelaten in de rapportage.

Correctiemethoden zelden toegepast

Significantiejacht is funest voor de wetenschapsbeoefening en maakt dat grote delen van de sociale wetenschap op drijfzand worden opgetrokken. Er bestaan methoden om voor de kanskapitalisatie in de significantiejacht te corrigeren maar deze worden in de praktijk zelden toegepast.

Significantie-jacht wordt niet alleen in de hand gewerkt door de enorme druk op hoogleraren en promovendi om te produceren, maar ook door de tendens bij wetenschappelijke tijdschriften om alleen significante resultaten te publiceren en dus de niet-significante weg te laten.

Bij pogingen om wetenschapsfraude te meten wordt veel te weinig onderscheid gemaakt tussen statistisch, op steekproeven gebaseerd onderzoek waar bijna de hele sociale wetenschap op berust, en exact georiënteerd onderzoek.

Door het gebrek aan strikte herhaalbaarheid (iedere steekproef heeft zijn eigen afwijkingen) is de kans op fraude vele malen hoger in statistisch onderzoek, omdat het veel moeilijker is vast te stellen.

Fisher, grondlegger van de moderne statistiek, had een half boekwerk nodig om de fraude in de data van Mendels befaamde erwtenexperimenten aan te tonen. Dat Fisher het statistisch bewijs kon leveren was te danken aan het enorme datamateriaal dat Mendel zelf in zijn artikel opnam.

Onderzoeksdata moet je checken

Een tweede reden, waarom statistisch onderzoek zo fraudegevoelig is, wordt dan ook veroorzaakt door het feit dat er nog steeds geen wettelijke verplichting is om databestanden waarover in de publiciteitsmedia en tijdschriften wordt gepubliceerd in het publieke domein ter beschikking te houden.

Fraudeurs kunnen dus bijna onopvallend en ongecontroleerd hun werk doen. Zie Stapel. Bij tijdschriften bestaat weliswaar de mogelijkheid dat een reviewer de data opvraagt, maar dat gebeurt in de praktijk uiterst zelden. Reviewers hebben het al druk genoeg met hun eigen analyses en nauwelijks tijd en zin in het schrijven van reviews.

Ook in het geval van promoties zou een lid van de manuscriptcommissie kunnen vragen om de data in te zien. Zo’n blijk van wantrouwen wordt zelden afgegeven, vooral omdat het commissielid dan bij de volgende gelegenheid zelf de kans loopt met de billen bloot te moeten.

In plaats van de ernst van de situatie te bagatelliseren zouden hoog geplaatsten zoals Noorda nu eindelijk maatregelen moeten nemen.

Voor de sociale wetenschappen zou het een enorme stap in de goede richting zijn, als de gezamenlijke faculteiten besloten een of meerdere ervaren onderzoekers vrij te stellen met als taak om steekproefsgewijs na te gaan of de resultaten van promotieonderzoek op de in het proefschrift aangegeven wijze voortkomen uit aanwezige databestanden en er geen statistische informatie bewust is weggelaten.

*) Han Oud Han Oud is statisticus en was als UHD verbonden aan het Behavioural Science Institute van de Radboud Universiteit Nijmegen.

Han Oud | 30-01-12 13:02