Une tribune qui prouve trop : ateliers de révision et réussite
Le journal de l'école publie demain une tribune du président de l'association de tutorat : « Preuve que nos ateliers de révision sont efficaces : sur 120 étudiants de première année, 40 ont suivi au moins trois ateliers et 32 d'entre eux ont validé leur semestre, soit 80 %, contre 48 sur 80 (60 %) chez ceux qui en ont suivi deux au maximum. Nos ateliers font donc gagner 20 points de réussite. » Le texte ajoute : « Et depuis que nous avons rendu les ateliers gratuits en février, leur fréquentation a doublé : la gratuité est le vrai levier. » Un enseignant a signalé en réunion que les ateliers ont été proposés en priorité en octobre aux étudiants repérés en difficulté, que les tuteurs recrutent surtout parmi les étudiants les plus motivés de leur promotion, et qu'un tiers des étudiants n'a pas répondu au questionnaire de suivi. Le rédacteur en chef doit décider s'il publie, corrige ou refuse, sachant que l'association diffusera la tribune ailleurs en cas de refus.
1. Le raisonnement « 80 % contre 60 %, donc +20 points » est-il valide ? Distinguez le problème d'échantillon et le problème causal.
Read the worked answer
Le calcul est juste, l'inférence ne l'est pas. 32/40 = 80 % et 48/80 = 60 % : la différence de 20 points est exacte, et le risque relatif vaut 80/60 ≈ 1,33. C'est un écart observé entre deux groupes de répondants, pas un effet mesuré.
Problème d'échantillon. Un tiers des étudiants n'a pas répondu au questionnaire. Si les non-répondants sont surtout les étudiants décrocheurs - ceux qui ont arrêté de venir, ateliers compris -, les deux pourcentages sont faux, dans des proportions inconnues et possiblement différentes d'un groupe à l'autre.
Problème causal. Les deux groupes n'ont pas été constitués au hasard et diffèrent par le niveau initial, la motivation, le temps disponible, la filière. L'enseignant signale deux mécanismes de sens contraire :
- les ateliers ont été proposés en priorité à des étudiants en difficulté, ce qui sous-estimerait l'effet ;
- les tuteurs sont recrutés parmi les plus motivés, ce qui peut attirer un public déjà engagé, ce qui surestimerait l'effet.
Ces deux biais ne se compensent pas : ils se cumulent dans l'incertitude, et l'on ne peut même pas dire que 20 points soit une borne supérieure ou inférieure. S'ajoute une causalité inverse possible : ce sont les étudiants qui se sentent capables de valider qui s'inscrivent le plus.
Conclusion : « +20 points » décrit un écart entre deux groupes de répondants. Ce n'est ni une estimation causale, ni une borne.
2. Proposez un dispositif réaliste, sur un semestre et sans budget supplémentaire, pour tester réellement l'effet des ateliers.
Read the worked answer
Objectif : comparer ce qui serait arrivé aux étudiants ayant suivi les ateliers s'ils ne les avaient pas suivis. Sans budget, le seul design crédible est une randomisation à la marge, sur les étudiants dont l'inscription est réellement hésitante.
Protocole :
- Cibler les étudiants situés entre 8 et 10/20 au partiel de mi-semestre - ceux pour qui un atelier peut faire basculer la validation.
- Tirer au sort la moitié invitée à un atelier hebdomadaire ; l'autre moitié est placée sur liste d'attente et reçoit les ateliers après l'examen. Refuser l'accès serait éthiquement discutable, faire attendre ne l'est pas.
- Définir la variable de résultat à l'avance : validation du semestre (oui/non). Enregistrer aussi la présence réelle, y compris chez les invités qui ne viennent pas, pour analyser en intention de traiter.
- Comparer les taux de validation des deux groupes tirés au sort, avec un intervalle de confiance. Sur environ 120 étudiants, un écart de 10 points reste incertain : il faut annoncer cette incertitude dès le départ, pas après.
Limite à énoncer : ce protocole ne renseigne que sur les étudiants « à la marge ». Il ne dit rien de l'effet sur les étudiants très faibles ou très forts, pour lesquels l'atelier n'est peut-être pas nécessaire ou pas suffisant. C'est une réponse honnête à la question posée, pas une preuve universelle.
3. Réécrivez les deux affirmations de la tribune de manière publiable, en conservant l'information mais en supprimant la prétention causale.
Read the worked answer
Version publiable du premier point : « Parmi les étudiants ayant répondu au questionnaire de suivi, ceux qui ont suivi au moins trois ateliers ont validé leur semestre dans 80 % des cas, contre 60 % pour ceux qui en ont suivi deux au maximum. Cet écart ne suffit pas à établir que les ateliers en sont la cause : les deux groupes diffèrent aussi par leur niveau initial et leur motivation. Un test par tirage au sort sera lancé au prochain semestre. »
Version publiable du second point : « La fréquentation des ateliers a doublé en février, mois où ils sont devenus gratuits. »
Pourquoi cette seconde formulation : la gratuité et la proximité des examens ont changé au même moment. Un doublement observé en février peut s'expliquer par la pression des partiels aussi bien que par la gratuité ; les deux causes sont confondues. La vérification est simple et gratuite : reprendre le registre de présence semaine par semaine et le comparer aux mêmes semaines de l'année précédente. En attendant, on décrit le fait, on n'attribue pas la cause.
Décision éditoriale recommandée : publier la version corrigée plutôt que refuser. Refuser ferait diffuser le texte brut ailleurs, sans contradicteur ; corriger garde le débat dans un cadre vérifiable, et l'ajout du test annoncé donne à l'association un gain réel - si les ateliers marchent, elle le démontrera cette fois pour de bon.