Rukopis versus notebook: co studie skutečně ukazuje
Univerzitní newsletter přinesl zprávu: „Student, který si píše poznámky rukou, má o 7 procentních bodů vyšší šanci složit zkoušku napoprvé.“ Podklad: z 2 000 oslovených studentů odpovědělo 640. Z nich 240 uvedlo, že si píše poznámky převážně rukou, 400 převážně na notebooku. U zkoušky napoprvé uspělo 62 % studentů z první skupiny a 55 % z druhé. Autoři shrnují: „Ruční zápis zvyšuje úspěšnost.“ Vedení univerzity zvažuje, že od příštího roku na přednáškách omezí notebooky. Studijní oddělení namítá, že průzkum nebere v úvahu obor: studenti humanitních oborů častěji píší rukou a zároveň mají vyšší úspěšnost u zkoušek než studenti technických oborů. Nikdo z oslovených studentů nebyl vybrán náhodně, dotazník vyplnili ti, kdo chtěli. Zkoušku napoprvé složilo celkem 369 z 640 respondentů.
1. Vysvětlete, proč uvedená data neopravňují tvrzení „ruční zápis zvyšuje úspěšnost“. Uveďte alespoň tři alternativní vysvětlení a naznačte, jak je odlišit.
Read the worked answer
Data popisují souvislost, ne příčinu.
- Sebezařazení (self-selection). Studenti si způsob zápisu vybírají sami. Kdo volí ruku, může být pečlivější, mít lepší studijní návyky nebo víc času - a to samo o sobě zvyšuje úspěšnost. Způsob zápisu je pak průvodní znak, ne příčina.
- Zaměňující proměnná: obor. Studijní oddělení na ni přímo upozorňuje. Humanitní obory mají vyšší podíl ručního zápisu i vyšší úspěšnost u zkoušek. Pokud rozdíl mezi obory vysvětlí celých 7 procentních bodů, vliv zápisu je nulový.
- Zkreslení výběru odpovědí. Odpovědělo 640 z 2 000, tj. 32 %. Kdo dotazník nevyplnil, mohl být systematicky jiný - například slabší studenti nebo ti, kdo na přednášky nechodí. O těchto 1 360 studentech nevíme nic.
- Opačný směr kauzality. Student, kterému se nedaří, může přejít k notebooku, protože potřebuje rychlejší zápis. Pak by horší výsledek předcházel volbě notebooku, ne naopak.
Jak je odlišit: rozdíl by musel přežít kontrolu na obor, předchozí studijní výsledky a docházku, a ideálně vzniknout randomizací. Potom by se dalo mluvit o vlivu, ne o souvislosti.
2. Co přesně znamená rozdíl 7 procentních bodů? Vyjádřete jej relativně a posuďte, zda je na datech vidět statistická průkaznost.
Read the worked answer
Rozdíl 7 procentních bodů znamená 62 % − 55 % = 7 bodů na stupnici 0–100 %. Není to „o 7 %“.
Relativní vyjádření: 62 / 55 = 1,127, tedy úspěšnost je asi o 12,7 % vyšší (případně 7 / 55 = 12,7 %). Obě čísla popisují totéž, ale působí různě silně - proto je nutné vždy uvést, která míra se používá.
Je rozdíl vůbec průkazný? Hrubý odhad: směrodatná chyba podílu je u první skupiny √(0,62 × 0,38 / 240) ≈ 3,1 procentního bodu, u druhé √(0,55 × 0,45 / 400) ≈ 2,5. Směrodatná chyba rozdílu je tedy √(3,1² + 2,5²) ≈ 4,0 procentního bodu. Rozdíl 7 bodů je zhruba 1,75násobkem směrodatné chyby - na hranici obvyklé hladiny významnosti.
Upřesnění: výpočet předpokládá náhodný výběr, což zde neplatí (odpovědělo 32 %). Skutečná nejistota je proto větší než 4 body. Formulace „o 7 procentních bodů vyšší šanci“ je navíc zkratka: u observačních dat se hodí spíš „v tomto souboru byla úspěšnost o 7 procentních bodů vyšší“.
Kontrola konzistence: 0,62 × 240 ≈ 149 a 0,55 × 400 = 220, celkem 369 - to odpovídá uvedenému součtu.
3. Jaký design by umožnil tvrdit, že ruční zápis úspěšnost způsobuje? Navrhněte ho a uveďte, co by v každém případě muselo být změřeno.
Read the worked answer
Designy, které by kauzální tvrzení unesly:
- Randomizovaná zkouška. Studenti v náhodně vybraných seminářích dostanou pokyn psát rukou (resp. na notebook), ostatní pokračují jako dosud. Randomizace rozbije souvislost mezi volbou zápisu a oborem či studijními návyky. Eticky obhajitelné je to jen jako dočasné opatření, které nikomu neškodí.
- Náhodná podpora (encouragement design). Náhodně vybrané skupině univerzita nabídne kurz efektivního ručního zápisu; porovnává se podle původního zařazení, ne podle toho, kdo kurz skutečně využil.
- Kvaziexperiment v rámci studenta. Stejný student navštěvuje dva kurzy s odlišným režimem zápisu a porovnává se jeho výsledek v obou. Tím se odstraní vliv oboru i schopností.
Co v každém případě změřit: obor, předchozí studijní průměr, docházku, a hlavně výsledky neodpovídajících - alespoň krátký dotaz na jejich obor a prospěch.
Pravidlo pro rozhodování: dokud takový design neexistuje, může vedení univerzity doporučit ruční zápis jako rozumný návyk, ale nesmí tvrdit, že zvyšuje úspěšnost. Plošné omezení notebooků by navíc neslo náklady na straně studentů, kterým ruční zápis nevyhovuje nebo není dostupný.