38 procent: steekproef, definitie en causaliteit in een schoolkrantbericht
Op de voorpagina van de schoolkrant staat: 'Uit onderzoek onder 412 jongeren blijkt dat 38 procent van hen dagelijks meer dan vier uur op sociale media zit. Dat is een verdubbeling ten opzichte van vijf jaar geleden. Onderzoeker Van Driel: "Hieruit blijkt dat sociale media het slaapgedrag van jongeren structureel verstoren."' In de methodeverantwoording staat: de 412 deelnemers zijn geworven via een oproep op Instagram en TikTok, 71 procent is meisje, en de vragenlijst is in de klas ingevuld. Gevraagd is naar zelf gerapporteerde schermtijd. De vergelijking met 'vijf jaar geleden' komt uit een ander onderzoek, waarin naar de totale schermtijd is gevraagd in plaats van naar sociale media, onder 1.050 jongeren. De redactie nam de cijfers over zonder de methodesectie te lezen. Jij schrijft voor de rubriek Feitencheck een nabeschouwing van 250 woorden.
1. Wat mag de schoolkrant op grond van dit onderzoek wél beweren over die 38 procent, en wat niet? Formuleer één toegestane en één niet-toegestane zin.
Read the worked answer
Wel toegestaan: 'Van de 412 jongeren die via Instagram en TikTok zijn benaderd, zegt 38 procent dagelijks meer dan vier uur op sociale media te zitten.'
Niet toegestaan: '38 procent van alle jongeren zit dagelijks meer dan vier uur op sociale media.'
De reden zit in de werving: wie via sociale media wordt opgeroepen, is juist de groep die daar veel zit. Dat is een selecte steekproef, geen aselecte. Daar komt bij dat de schermtijd niet is gemeten maar door de deelnemers zelf is ingeschat; mensen overschatten of onderschatten dat systematisch, en de vraag 'meer dan vier uur' vraagt om een schatting achteraf.
De 38 procent geldt dus voor deze 412 respondenten, niet voor 'jongeren'. De correcte formulering noemt de groep en het zelfrapport erbij; dat is geen muggenzifterij, want de hele kop van het artikel leunt op dat ene getal.
2. Er zit een probleem in de bewering dat sprake is van een verdubbeling. Leg uit welk probleem dat is en wat je nodig hebt om de vergelijking wél te maken.
Read the worked answer
De twee cijfers meten niet hetzelfde. Het ene onderzoek vraagt naar sociale media, het andere naar totale schermtijd; totale schermtijd is per definitie hoger en stijgt ook als leerlingen alleen maar meer video's kijken of huiswerk op een laptop maken. Je vergelijkt dus een deel met een geheel.
Daar komt bij dat steekproef, leeftijdsopbouw en vraagmethode verschillen (412 versus 1.050 deelnemers, andere werving). Een verdubbeling vaststellen kan alleen als definitie, vraagstelling en populatie in beide jaren gelijk zijn gehouden; anders meet je het verschil in methode mee.
De feitencheck zou moeten concluderen: de stijging kan bestaan, maar is met deze twee onderzoeken niet aangetoond. Dat is iets anders dan zeggen dat er niets aan de hand is.
3. Van Driel zegt: 'Hieruit blijkt dat sociale media het slaapgedrag structureel verstoren.' Welke stap slaat hij over, en herschrijf zijn uitspraak zodat die klopt met het onderzoek.
Read the worked answer
Hij slaat de stap van samenhang naar oorzaak over. In de vragenlijst is niet eens naar slaapgedrag gevraagd; er is alleen schermtijd gerapporteerd. Zelfs als er wel naar slaap was gevraagd, geldt: jongeren die slecht slapen kunnen 's avonds juist gaan scrollen, en een derde factor (stress, thuissituatie, chronotype) kan beide veroorzaken. Zonder longitudinaal of experimenteel onderzoek is de richting van het verband onbekend.
Bovendien is 'structureel' een claim over langere tijd, terwijl dit een momentopname is.
Herschrijving: 'Jongeren die naar eigen zeggen veel op sociale media zitten, rapporteren vaker een kortere of slechtere nachtrust. Of sociale media daar de oorzaak van zijn, is met deze gegevens niet vast te stellen.' Zo blijft de bevinding staan, maar zonder de causaliteit die de onderzoeker erin leest.