CO2-metingen in twee derdeklassen
Twee derdeklassen doen onderzoek naar ventilatie. Klas A heeft mechanische ventilatie, klas B moet het van open ramen hebben. Met CO2-sensoren loggen de leerlingen vier weken lang elke 5 minuten de concentratie tijdens de lessen. De gemiddelden: klas A 900 ppm, klas B 1400 ppm. Leerlingen in klas B rapporteren vaker hoofdpijn. Als de docent de ruwe data opvraagt, blijkt sensor B nooit te zijn geijkt en bij een referentiemeting 120 ppm te hoog aan te wijzen. Verder openden de leerlingen in klas B de ramen vooral bij mooi weer, zat klas B vaker vol (31 tegen 24 leerlingen) en was het daar gemiddeld 1,5 °C warmer. De onderzoeksvraag luidt: 'Heeft de manier van ventileren invloed op de ervaren luchtkwaliteit en de concentratie van leerlingen?' De school wil op basis van dit onderzoek bepalen of zij in alle lokalen mechanische ventilatie laat installeren.
1. Operationaliseer de begrippen uit de onderzoeksvraag. Geef per begrip een meetmethode met eenheid en een betrouwbaarheidsmaat.
Read the worked answer
Ervaren luchtkwaliteit is subjectief en moet je operationaliseren als de score op een korte, gestandaardiseerde vragenlijst: een 7-puntsschaal van 'zeer slecht' tot 'zeer goed', aangevuld met items over hoofdpijn, slaperigheid en frisse lucht, telkens afgenomen op hetzelfde moment aan het eind van de les. Betrouwbaarheid: test-hertestbetrouwbaarheid over twee lessen bij dezelfde omstandigheden.
Concentratie operationaliseer je als de prestatie op een gestandaardiseerde taak van 5 minuten, bijvoorbeeld het aantal goede antwoorden per minuut op een rekentaak. Betrouwbaarheid: interne consistentie en een test-hertestcoëfficiënt; een taak waarop leerlingen na vier weken sterk verschillen door oefening is onbruikbaar.
Ventilatie operationaliseer je als de CO2-concentratie in ppm, gemiddeld over de les, gemeten op 1,0 m hoogte midden in het lokaal met een gekalibreerde sensor. Betrouwbaarheid: meetnauwkeurigheid na kalibratie, plus een vaste meetopstelling zodat de plek niet per les verschilt.
Zonder kalibratie is een gemeten verschil van 500 ppm niet te scheiden van een instrumentfout - en dat is precies wat hier misging.
2. Benoem de drie belangrijkste validiteitsbedreigingen. Leg per bedreiging uit of die leidt tot een systematische of toevallige fout en hoe je haar wegneemt.
Read the worked answer
- Ongeijkte sensor B (systematische fout). Sensor B wijst 120 ppm te hoog aan, waardoor het gemiddelde van klas B structureel verschuift. Een deel van het verschil van 500 ppm is dus instrument, geen ventilatie. Oplossen door te kalibreren tegen een referentiemeter en de correctie toe te passen, of door beide klassen afwisselend met dezelfde gekalibreerde sensor te meten (cross-over).
- Verschillende bezetting en temperatuur (verstorende variabele, systematisch). 31 versus 24 leerlingen produceert meer CO2 en 1,5 °C warmer beïnvloedt het comfort. De groepen verschillen dus ook in andere factoren dan ventilatie. Oplossen door bezetting en temperatuur te loggen en mee te nemen in de analyse, of door binnen één klas over dagen met verschillende ventilatie te vergelijken.
- Raamgedrag dat samenhangt met het weer (confounding plus toevallige fout). Leerlingen openen ramen bij mooi weer, dus het weer bepaalt zowel de ventilatie als het comfort. Oplossen door raamgedrag en buitentemperatuur te registreren en als covariabele op te nemen.
Daarnaast is de steekproef van twee klassen niet aselect; generaliseren naar 'alle lokalen' mag daarom niet.
3. De school concludeert: 'mechanische ventilatie verlaagt de CO2 met 500 ppm, dus er is minder hoofdpijn.' Beargumenteer waarom dit niet is toegestaan en welke analyse of aanvullend onderzoek je nodig hebt.
Read the worked answer
De conclusie bevat twee ongeoorloofde stappen. Ten eerste is die 500 ppm niet zuiver: gemeten met een ongeijkte sensor, bij verschillende bezetting en temperatuur. Ten tweede is de stap van CO2 naar hoofdpijn correlationeel: er is geen controlegroep, geen randomisatie en de uitkomst is zelf gerapporteerd, dus verwachtingseffect en gelijktijdige factoren (temperatuur, geluid, tijdstip) spelen mee.
Wel toegestaan: bereken per les gemiddelde en mediaan met spreiding; toets op dagbasis met een gepaarde analyse; corrigeer voor bezetting en temperatuur met meervoudige regressie; rapporteer effectgrootte met betrouwbaarheidsinterval in plaats van alleen een p-waarde.
Nodig voor de beslissing van de school is een cross-over: meet in dezelfde lokalen enkele weken met en enkele weken zonder mechanische ventilatie, in wisselende volgorde, met dezelfde gekalibreerde sensor en dezelfde vragenlijst. Pas dan is een causaal verband aannemelijk. Tot die tijd luidt de eerlijke conclusie: de data suggereren een verschil, maar de oorzaak is niet aangetoond.