Lo studio su carta e schermo: valutare una conclusione
Durante un corso di preparazione, gli studenti devono valutare un articolo proposto da un compagno. Il testo è questo: «Uno studio su 340 studenti universitari ha rilevato che chi leggeva un saggio argomentativo su carta otteneva in media 7,4 risposte corrette su 10, contro 5,6 di chi lo leggeva sullo schermo. Gli autori concludono che la carta migliora la comprensione e consigliano di stampare tutti i materiali di studio. Nel gruppo schermo, però, i partecipanti disponevano di 6 minuti, mentre il gruppo carta ne aveva 12; il test, inoltre, era composto solo da domande su singoli dettagli del testo». Sui social un commento riassume: «Dimostrato: chi legge su carta è più intelligente». La classe deve decidere se il commento sia sostenibile e che cosa servirebbe per rendere lo studio più solido.
1. Qual è la conclusione degli autori e quale problema metodologico la indebolisce di più? Scegli tra i due problemi segnalati nel testo e giustifica la scelta.
Read the worked answer
Conclusione degli autori: leggere su carta migliora la comprensione, quindi conviene stampare i materiali di studio.
I due problemi segnalati sono:
- Tempo diseguale (6 minuti contro 12).
- Tipo di domande (solo dettagli puntuali, non comprensione globale).
Quale indebolisce di più? Il tempo, per una ragione logica prima ancora che statistica: la variabile tempo può da sola produrre la differenza osservata di 1,8 punti, perché chi ha il doppio del tempo può rileggere e cercare i dettagli. La differenza tra i gruppi diventa quindi confusa (confounding): non sappiamo se il punteggio dipenda dal supporto o dal tempo. Il secondo problema è grave ma di natura diversa: riguarda la validità della misura, cioè se il test misuri davvero la comprensione. Renderebbe la conclusione fuorviante, ma non basterebbe a spiegare il divario tra i gruppi.
Errore da evitare: dire semplicemente «lo studio è sbagliato». Lo studio può essere compatibile con l'ipotesi degli autori; semplicemente non la dimostra.
2. Il commento sui social («chi legge su carta è più intelligente») è sostenibile? Distingui ciò che lo studio misura da ciò che il commento afferma.
Read the worked answer
No, non è sostenibile.
- Lo studio misura, in una singola prova e in condizioni diseguali, il numero di risposte corrette su domande di dettaglio: è una misura di prestazione contingente, non di capacità stabile.
- Il commento afferma una differenza di intelligenza, cioè una caratteristica generale e stabile delle persone: è un salto di livello logico che i dati non autorizzano.
- C'è anche un salto di popolazione: i 340 studenti universitari non rappresentano la popolazione generale, quindi qualsiasi generalizzazione è indebita.
Regola da applicare: un risultato su un compito specifico, con un campione specifico e un disegno imperfetto, sostiene al massimo un'ipotesi da verificare, non un giudizio sulle persone. Dire «lo studio suggerisce che il supporto possa influire sulla prestazione in quel compito» è corretto; dire «dimostrato» no.
3. Progetta una versione migliorata dello studio: indica due modifiche e il risultato che dovresti osservare se l'effetto della carta fosse reale.
Read the worked answer
Modifica 1 - pareggiare il tempo. Assegnare 12 minuti a entrambi i gruppi (o, meglio, lasciare a ciascuno il tempo che impiega normalmente, registrandolo come variabile). Se l'effetto della carta è reale, la differenza di 1,8 punti si riduce ma non si annulla: resta un vantaggio piccolo e coerente per la carta.
Modifica 2 - batteria di domande mista. Inserire domande di dettaglio, di inferenza e di sintesi, valutate con criteri espliciti. Se l'effetto è reale sulla comprensione, il vantaggio della carta dovrebbe comparire soprattutto nelle domande di inferenza e sintesi, non solo nei dettagli.
Controlli aggiuntivi utili:
- assegnazione casuale al gruppo (evita l'autoselezione);
- stessa lunghezza e stessa difficoltà dei testi;
- misurazione del tempo effettivo di lettura;
- verifica che nessuno abbia già letto il testo.
Criterio di giudizio: se dopo il pareggio del tempo la differenza sparisse, la spiegazione più economica sarebbe che a produrre il vantaggio fosse il tempo, non il supporto. Questo è il punto decisivo: uno studio migliorato serve proprio a distinguere le due spiegazioni.