De replicatiecrisis in de sociale psychologie
In 2014 publiceerde een sociaal psycholoog een veel geciteerde studie: proefpersonen die een potlood tussen de lippen hielden (wat een glimlach simuleert) beoordeelden cartoons als grappiger dan proefpersonen die dat niet deden. De gerapporteerde effectgrootte was d = 0,62. In 2024 bundelen twaalf laboratoria hun krachten. Met 4.800 deelnemers, een vooraf vastgelegd analyseplan en identieke materialen vinden zij een effectgrootte van d = 0,05 (p = 0,31). De oorspronkelijke auteur reageert: 'Mijn steekproef was klein, maar het effect is echt; jullie meten gewoon iets anders.' Een methodoloog zegt: 'Dit is geen weerlegging, want er spelen tientallen hulpveronderstellingen mee.' Een wetenschapsfilosoof merkt op: 'Interessant: de theorie past zich aan en overleeft.' De onderzoeksleider concludeert: 'Als dit geen falsificatie is, wat onderscheidt wetenschap dan nog van pseudowetenschap?'
1. Leg uit hoe Popper tegen deze uitkomst zou aankijken. Betrek in je antwoord het statistische karakter van de toetsing.
Read the worked answer
Popper zou het replicatieonderzoek prijzen als goede wetenschap, omdat het een riskante voorspelling toetst: als het effect bestaat, moet het in een grote steekproef terugkomen. Precies zulke voorspellingen maken een theorie falsifieerbaar.
Maar hij zou niet zeggen dat het effect nu definitief weerlegd is. Falsificatie is bij hem een logische operatie: als de voorspelling uitblijft, is er iets mis - maar wat, dat staat niet vast. Bovendien is de toets statistisch: p = 0,31 betekent niet 'geen effect', maar 'deze data zijn niet onwaarschijnlijk onder de nulhypothese'. Een niet-significant resultaat is dus zwakker bewijs dan een weerlegging in de zin van Popper.
Het verwijt van de auteur ('jullie meten iets anders') is voor Popper een rode vlag: een theorie die zich aan elke uitkomst aanpast, verliest haar falsifieerbaarheid. Wie een ontsnappingsroute openhoudt voor elke mislukte replicatie, beschermt de theorie tegen weerlegging en dat is precies wat Popper pseudowetenschap noemt.
2. Leg de these van Duhem-Quine uit en pas haar toe op de uitspraak van de methodoloog dat dit geen weerlegging is.
Read the worked answer
De these: een theorie wordt nooit in isolatie getoetst. Je toetst altijd een heel pakket: de theorie zelf plus hulpveronderstellingen over meetinstrumenten, steekproef, analyse, populatie en achtergrondkennis. Loopt de toetsing mis, dan weet je alleen dat er íets in dat pakket niet klopt - niet dat de centrale theorie onjuist is.
Toepassing: in het replicatieonderzoek zit de hulpveronderstelling dat de potloodmethode in 2024 dezelfde gezichtsuitdrukking oproept als in 2014. Misschien werkt de manipulatie niet meer, omdat proefpersonen nu weten wat een glimlach is en zich anders gedragen. Dan is de theorie niet weerlegd, maar de operationalisering.
De prijs van deze these: als elk mislukt resultaat aan een hulpveronderstelling kan worden toegeschreven, wordt falsificatie bijna onmogelijk. De methodoloog heeft dus formeel gelijk, maar zijn argument mag geen vrijbrief worden om elke replicatie naast zich neer te leggen. Wetenschap moet dan vooraf afspreken welke hulpveronderstellingen zij accepteert.
3. De wetenschapsfilosoof suggereert dat de gang van zaken eerder bij Kuhn dan bij Popper past. Beargumenteer welke van de twee interpretaties de replicatiecrisis beter begrijpt.
Read the worked answer
Kuhn: wetenschappers werken binnen een paradigma met gedeelde modellen en methoden. Mislukkingen zijn anomalieën. Pas als die zich opstapelen ontstaat crisis, en pas dan volgt een revolutie. De replicatiecrisis laat zien dat een deel van de sociale psychologie haar eigen normen (vooraf geregistreerde analyses, grote steekproeven) begint te herzien. Dat is geen aanval van buitenaf, maar een interne correctie: normale wetenschap die haar methode bijstelt.
Popper: die ziet een opeenvolging van vermoedens en weerleggingen, zonder dat er een paradigma nodig is. Ook hij kan de replicatiecrisis verklaren, maar hij moet dan wel uitleggen waarom onderzoekers jarenlang vasthielden aan effecten die zwak onderbouwd waren - precies het vasthouden dat Kuhn beschrijft.
Beoordeling: Kuhn beschrijft de dynamiek beter, Popper levert het criterium. De crisis is kuhniaans van verloop (aanpassing van normen binnen een gemeenschap) maar popperiaans van maatstaf (het ideaal blijft dat beweringen riskant en herhaalbaar worden getoetst). Wie één van beide kiest, verliest een deel van het verhaal.