Anketa o učeničkom radu: brzi podaci, prejaka pravila
Županijski odjel za obrazovanje želi utvrditi koliko srednjoškolaca radi uz školu i šteti li im posao ocjenama. U 18 srednjih škola ima 4.200 učenika. Anketa je postavljena na školski e-mail; odazvalo se 1.180 učenika. Među ispitanicima je 52% gimnazijalaca, 29% učenika strukovnih škola i 19% umjetničkih, dok je u cijeloj županiji udio 35%, 45% i 20%. Nastavnici su u nekim razredima podijelili papirnate upitnike, a u drugima su učenici dobili poveznicu. Jedno pitanje glasi: „Radite li povremeno i koliko vam posao šteti u školi?“ Rezultati pokazuju da 61% ispitanika radi, a 44% zaposlenih navodi slabije ocjene. Odjel ima tri tjedna i nema proračun za novo istraživanje, ali najavljuje pravilnik kojim bi se učenicima zabranio svaki honorarni rad tijekom nastavne godine. Ravnatelji se žale da su neki razredi ispunjavali upitnik pod nadzorom nastavnika, a drugi kod kuće.
1. Procijenite unutarnju i vanjsku valjanost istraživanja. Koji je najozbiljniji problem: uzorkovanje, mjerenje ili zaključivanje o uzročnosti? Obrazložite na podacima iz situacije.
Read the worked answer
Najozbiljniji je spoj pristranosti odabira i mjerenja, a za najavljeni pravilnik i nevaljan zaključak o uzročnosti.
- Uzorak: odazvalo se 1.180 od 4.200 učenika (28%). Gimnazijalci su zastupljeni 52% umjesto 35%, pa uzorak nije reprezentativan za županiju. Vjerojatno su se češće odazvali učenici kojima je tema važna ili koji imaju bolji pristup e-mailu. Način ispunjavanja nije bio isti: nadzor nastavnika i ispunjavanje kod kuće mogu dati različite odgovore. Ponderiranje po tipu škole djelomično pomaže, ali ne uklanja pristranost neodgovora.
- Mjerenje: pitanje je dvostruko i navodeće. Spaja radi li učenik i šteti li mu posao, a riječ „šteti“ unaprijed sugerira štetu. Nema podataka o satima, vrsti posla, smjenama, sezoni ni načinu ocjenjivanja. Samoprocjena ocjena manje je pouzdana od školske evidencije. Zato je konstruktna valjanost slaba.
- Uzročnost: što 44% zaposlenih navodi slabije ocjene ne dokazuje da rad uzrokuje slabije ocjene. Moguće je obrnuto: slabiji uspjeh vodi prema radu, ili oboje proizlazi iz obiteljskih prihoda, prethodnog znanja i zahtjeva škole. Nema početnog mjerenja ni usporedne skupine.
Zaključak: podaci mogu poslužiti kao hipoteza, ali ne kao dokaz za zabranu. Za procjenu raširenosti najveća je prijetnja uzorkovanje, a za pravilnik zaključivanje o uzročnosti.
2. Odjel mora odlučiti u tri tjedna i bez novog proračuna. Predložite minimalnu nadogradnju istraživanja i napišite što se iz postojećih podataka smije, a što ne smije zaključiti.
Read the worked answer
Izvedivo u tri tjedna bez novca:
- Poslati dva podsjetnika i zabilježiti je li upitnik ispunjen u školi ili kod kuće.
- Izračunati težine prema tipu škole, razredu i spolu te prikazati raspone pouzdanosti, a ne samo postotke.
- Dodati najviše pet kratkih pitanja: sati rada tjedno, vrsta posla, noćne smjene, subjektivna ocjena opterećenja i prosjek ocjena prošle godine.
- Organizirati 6–8 fokus-grupa s učenicima iz različitih tipova škola.
- Usporediti na razini razreda postojeće školske podatke o izostancima, uz zaštitu anonimnosti.
Smije se zaključiti: među ispitanicima 61% radi; 44% zaposlenih ispitanika navodi slabije ocjene; postoje razlike po tipu škole i načinu ispunjavanja. Ne smije se zaključiti: da 61% svih učenika županije radi, da rad uzrokuje slabije ocjene ili da će zabrana poboljšati uspjeh. Pravilnik bi bio intervencija bez evaluacije. Umjesto toga bolje je najaviti pilot-mjere: ograničenje noćnih smjena, savjetovanje i praćenje uspjeha kroz godinu.