Čtenářští mentoři: co dokazuje zlepšení o 12 %
Základní škola v Podlesí zavedla pro žáky šestých tříd program „čtenářští mentoři“: 40 žáků, kteří se přihlásili dobrovolně, docházelo deset týdnů dvakrát týdně na 45 minut ke starším spolužákům. Po programu měli účastníci v průměru o 12 % lepší známku z češtiny než před ním, zatímco zbylých 80 žáků šestých tříd se zlepšilo jen o 3 %. Ředitelka uzavřela, že program funguje a že jej příští rok povinně zavede pro všechny. Učitelka matematiky namítla, že dobrovolníci už před programem měli lepší známky a že ve stejné době škola zavedla novou čítanku a změnila hodnocení. Navíc testy po programu zadávali sami mentoři, kteří věděli, kdo je v programu. Škola má omezený rozpočet a může program rozšířit jen na jednu další třídu. Máte rozhodnout, jaký důkaz by byl potřeba, abyste rozšíření obhájili.
1. Identifikujte hlavní ohrožení vnitřní validity uvedené studie a vysvětlete, jak každé z nich může vysvětlit rozdíl 12 % vs. 3 %.
Read the worked answer
Hlavní ohrožení:
- Samovýběr - dobrovolníci už měli lepší známky a možná i větší motivaci; rozdíl může být způsoben výchozím rozdílem, ne programem (selection).
- Souběžná změna - nová čítanka a změna hodnocení působily na obě skupiny, ale mohly působit různě.
- Instrumentace - změna hodnocení znamená, že „lepší známka“ nemusí znamenat stejný výkon.
- Zaujatost hodnotitele - mentoři věděli, kdo je v programu, a mohli nadhodnotit.
- Zrání a testování - žáci se zlepšují i bez programu.
- Regrese k průměru, pokud byli vybráni podle extrémních výsledků.
Bez kontroly těchto faktorů nelze 12% zlepšení připsat programu.
2. Navrhněte jednoduchý design, který by umožnil kauzální interpretaci, a popište, co by muselo platit.
Read the worked answer
Nejčistší je randomizovaný kontrolovaný pokus: z 120 žáků náhodně přidělit 60 do programu a 60 na čekací listinu, obě skupiny testovat stejnými testy před a po, hodnotitele zaslepit a dopředu stanovit hlavní ukazatel.
Muselo by platit: randomizace proběhla skutečně náhodně, obě skupiny jsou na začátku srovnatelné, nedochází k systematickému vyřazování, testy měří stejný konstrukt a program se provádí stejně. Ideálně dvě třídy a více škol. Eticky lze použít čekací listinu: kontrolní skupina dostane program později. Výsledky by se měly hlásit jako průměrný rozdíl s intervalem spolehlivosti, ne jen jako 12 % vs. 3 %.
3. Ředitelka chce program povinně zavést pro všechny. Jaké etické a praktické otázky to vyvolává?
Read the worked answer
Povinné zavedení naráží na etiku i praxi. Za prvé, pokud důkaz není kauzální, škola zavádí plošně něco, co může škodit nebo plýtvat zdroji. Za druhé, dobrovolnost a informovaný souhlas: u nezletilých rodiče, ale vzdělávací program nemusí vždy vyžadovat souhlas; přesto je třeba respektovat námitky. Za třetí, spravedlnost: rozšíření jen do jedné třídy zvýhodní jednu skupinu. Za čtvrté, právo být nezařazen a ochrana soukromí.
Doporučil bych pilotní rozšíření s vyhodnocením a možností rodičů odmítnout, aby se nejdřív ověřilo, zda efekt přetrvává i mimo dobrovolnickou skupinu.