Melatonine op het profielwerkstuk
Twee leerlingen uit 5 havo onderzoeken voor hun profielwerkstuk of melatonine de inslaaptijd verkort. Ze vinden 60 klasgenoten bereid mee te doen. De helft krijgt een pil met 0,5 mg melatonine, de andere helft een identiek uitziende pil met alleen suiker. De deelnemers weten niet welke pil ze krijgen, maar de twee onderzoekers wel: die delen de pillen persoonlijk uit en vragen elke ochtend hoe het ging. De deelnemers houden twee weken lang een slaapdagboek bij: hoe laat ze naar bed gingen, hoe vaak ze wakker werden en hoe uitgerust ze zich voelden op een schaal van 1 tot 10. Na afloop blijkt de melatoninegroep gemiddeld 4 minuten sneller in slaap te vallen dan de placebogroep. De standaardafwijking binnen beide groepen is 25 minuten. In het verslag staat als conclusie: 'Melatonine werkt, want onze groep viel sneller in slaap dan de groep met nep-pillen.'
1. Noem twee zwakke punten in de onderzoeksopzet en leg voor elk uit hoe die de uitkomst kunnen vertekenen. Geef bij elk punt ook een concrete verbetering.
Read the worked answer
Zwak punt 1 – de onderzoekers zijn niet blind. De twee leerlingen weten wie de werkende pil krijgt en delen die persoonlijk uit. Zij kunnen onbewust anders reageren op de melatoninegroep (extra uitleg, vriendelijker vragen, stimuleren om het dagboek serieus in te vullen). Daardoor kan juist die groep betere cijfers opschrijven. Verbetering: laat een derde partij de pillen coderen, zodat ook de onderzoekers niet weten wie wat slikt (dubbelblind).
Zwak punt 2 – zelfgerapporteerde uitkomstmaten. 'Hoe uitgerust voelde je je' en 'hoe laat ging je naar bed' zijn subjectief en worden sterk beïnvloed door verwachtingen: wie denkt dat hij een werkende pil slikt, rapporteert sneller een goed gevoel. Verbetering: meet objectief, bijvoorbeeld met een actigraaf of slaapapparatuur, en vraag vooraf een nulmeting (baseline) zodat je dezelfde persoon met zichzelf vergelijkt.
Extra zwak punt: factoren als koffie, schermgebruik en sporten 's avonds zijn niet gecontroleerd en verschillen mogelijk tussen de groepen. Dat zijn confounders die het verschil kunnen verklaren zonder dat melatonine iets doet.
2. Laat met een berekening zien of het gevonden verschil van 4 minuten overtuigend is, gegeven een standaardafwijking van 25 minuten en 30 deelnemers per groep.
Read the worked answer
De standaardfout van het gemiddelde per groep is σ/√n = 25/√30 ≈ 4,6 minuut.
De standaardfout van het verschil tussen twee onafhankelijke groepen is:
√(4,6² + 4,6²) ≈ 6,5 minuut.
Het gevonden verschil (4 minuten) is dus kleiner dan één standaardfout. Bij zo'n uitkomst is het verschil statistisch niet significant: toeval kan gemakkelijk een verschil van 4 minuten opleveren als beide groepen in werkelijkheid even snel in slaap vallen. Bovendien is de spreiding groot (25 minuten) ten opzichte van het effect (4 minuten); het 'signaal' is veel kleiner dan de 'ruis'.
Wil je een verschil van 4 minuten bij σ = 25 betrouwbaar kunnen aantonen, dan heb je met een vuistregel (n ≈ 16·σ²/Δ² = 16 · 625 / 16) ongeveer 600 deelnemers per groep nodig. Conclusie: met 30 proefpersonen per groep kan dit onderzoek het gestelde effect niet aantonen, ook niet als het echt bestaat.
3. Herschrijf de conclusie van de leerlingen zodat die past bij de resultaten, en formuleer één vervolgonderzoek dat de vraag wél kan beantwoorden.
Read the worked answer
Herschreven conclusie: 'In dit onderzoek met 60 havo-leerlingen viel de melatoninegroep gemiddeld 4 minuten sneller in slaap dan de placebogroep, maar dat verschil is klein ten opzichte van de spreiding (25 minuten) en niet significant. Onze resultaten leveren dus geen bewijs dat melatonine de inslaaptijd verkort.'
Belangrijk is het verschil tussen geen bewijs voor een effect en bewijs dat er geen effect is. De juiste formulering is dat de meting te weinig onderscheidend vermogen heeft.
Vervolgonderzoek: een dubbelblind, gerandomiseerd onderzoek met een veel grotere groep deelnemers en een objectieve meting gedurende meerdere weken, met een voormeting per deelnemer en registratie van confounders (cafeïne, schermtijd, bedtijd). Randomisatie zorgt ervoor dat bekende en onbekende confounders eerlijk over de groepen worden verdeeld; een cross-over-opzet (elke deelnemer krijgt beide behandelingen in willekeurige volgorde) is hier extra krachtig, omdat iedereen dan zijn eigen controlegroep is.