Werk en cijfers: een profielwerkstuk onder de loep
HAVO-leerling Nadia onderzoekt voor haar profielwerkstuk of een bijbaan slecht is voor schoolcijfers. Ze verspreidt een vragenlijst via WhatsApp in haar eigen havo-4-klas en in twee parallelklassen: 80 leerlingen, van wie 62 reageren. Ze vraagt: 'Hoeveel uur per week werk je?' en 'Wat is je gemiddelde cijfer op je laatste rapport?' Ze deelt de groep in: 0 uur, 1-12 uur, meer dan 12 uur. De meer dan 12-groep (n=14) heeft gemiddeld een 6,1; de 0-groep (n=21) een 6,8. Nadia concludeert: 'Een bijbaan van meer dan 12 uur verlaagt je cijfers.' Haar docent wijst op selectiviteit en causaliteit. Nadia's vriendin werkt 14 uur en staat een 7,5. In de klas zitten vooral leerlingen die al extra bijles krijgen. Twee respondenten vulden de vragenlijst twee keer in.
1. Noem drie bedreigingen voor de geldigheid van Nadia's conclusie en leg bij elk uit hoe die de uitkomst kan vertekenen.
Read the worked answer
1. Selectieve steekproef en non-respons. Nadia ondervraagt alleen haar eigen havo-4-klas en twee parallelklassen: 62 van de 80 leerlingen reageren. Leerlingen die veel werken en weinig tijd hebben, vullen mogelijk minder vaak in. Dan ontbreken juist degenen die het meest relevant zijn. Bovendien zegt een havoklas niets over alle havisten in Nederland.
2. Verstorende variabelen. In de klas zitten veel leerlingen met extra bijles. Dat is een confounding factor: bijles kan het cijfer opkrikken, terwijl werken juist samengaat met minder tijd. Het verschil tussen de groepen kan daardoor aan bijles liggen en niet aan het aantal werkuren. Ook motivatie, thuissituatie en eerdere cijfers spelen mee.
3. Causaliteit en meting. Nadia meet op één moment. Misschien gaan leerlingen met lagere cijfers juist meer werken, in plaats van andersom. Het gemiddelde cijfer is bovendien zelfgerapporteerd en kan onnauwkeurig zijn. Twee dubbele inzendingen verstoren de groepsgemiddelden. Ten slotte is de groep meer dan 12 uur klein (n=14), waardoor één uitschieter veel invloed heeft.
Conclusie. De drie problemen leiden allemaal in dezelfde richting: Nadia's vergelijking kan een verschil tonen dat niet door het werk wordt veroorzaakt. Haar conclusie is daarom te sterk.
2. Hoe zou Nadia haar onderzoek kunnen verbeteren? Noem twee concrete aanpassingen en beargumenteer welke het belangrijkst is.
Read the worked answer
Aanpassing 1: een representatievere steekproef. Nadia kan alle havo-4-leerlingen van meerdere scholen in de regio benaderen, met een aselecte trekking en een herinnering voor non-respons. Daardoor wordt de groep minder afhankelijk van haar eigen klas en van leerlingen die toevallig reageren.
Aanpassing 2: een longitudinale opzet met controlevariabelen. Zij kan cijfers en werkuren op twee momenten meten, bijvoorbeeld aan het begin en einde van een periode, en daarbij eerdere cijfers, bijles en opleidingsniveau van ouders registreren. Dan kan zij nagaan of verandering in werkuren samengaat met verandering in cijfers, in plaats van alleen twee groepen te vergelijken.
Welke het belangrijkst is? De longitudinale opzet met controlevariabelen is het belangrijkst, omdat de kern van Nadia's probleem causaliteit is. Een grotere steekproef verbetert de representativiteit, maar zolang zij één meting doet en bijles niet meeneemt, blijft de verklaring zwak. Met een voor- en nameting kan zij ten minste de volgorde in de tijd onderzoeken en alternatieve verklaringen uitsluiten. De steekproefverbetering is een goede tweede stap.
3. Welke conclusie mag Nadia wel trekken op basis van haar data? Formuleer een voorzichtige conclusie en leg uit waarom die niet causaliteit impliceert.
Read the worked answer
Voorzichtige conclusie. 'In mijn steekproef van 62 havo-4-leerlingen van drie klassen hebben leerlingen die meer dan 12 uur per week werken een lager gemiddeld rapportcijfer (6,1) dan leerlingen die niet werken (6,8).' Dat is een beschrijvende uitspraak over de onderzochte groep.
Waarom geen causaliteit? Een causaal verband zou betekenen dat het werken zelf het cijfer verlaagt. Dat kan Nadia niet aantonen met één meting. Er zijn alternatieven: leerlingen met lagere cijfers nemen misschien eerder een bijbaan, of het verschil komt door bijles, motivatie of de thuissituatie. Ook de kleine groepen (n=14 en n=21) maken de uitkomst onzeker. Het voorbeeld van de vriendin met 14 uur en een 7,5 laat zien dat er binnen de groep variatie is; één gemiddelde verbergt die variatie.
Wat zij kan toevoegen. Nadia kan haar conclusie sterker maken door de samenhang te presenteren met een betrouwbaarheidsinterval of door te vermelden hoeveel leerlingen in elke groep zitten. Maar ook dan blijft het een samenhang. Voor een causale uitspraak is een experiment of een langdurig onderzoek met controlegroep nodig, en dat past niet bij een profielwerkstuk van deze omvang.