Réforme scolaire et données manquantes : sauver un projet de sélection internationale
Une candidate internationale, titulaire d'une licence d'économie dans un pays où les archives scolaires sont partiellement numérisées, candidate à la Sélection internationale. Son projet propose d'évaluer l'effet d'une réforme de 2015 qui a rendu l'école obligatoire jusqu'à 15 ans, en comparant les cohortes avant et après. Elle prévoit d'utiliser les résultats à un examen national de fin de collège. Lors de l'oral, le comité objecte que : (1) les données individuelles ne sont disponibles que pour 60 % des établissements ; (2) la réforme a coïncidé avec une réforme des programmes et une crise budgétaire ; (3) les élèves des zones rurales ont été les premiers concernés. La candidate dispose de dix minutes pour défendre une version révisée de son projet. Elle a accès à des données agrégées par établissement et à des entretiens avec des enseignants.
1. Identifier les principales menaces à l'identification causale et expliquer pourquoi la comparaison avant/après ne suffit pas.
Read the worked answer
Menaces principales.
- Variables omises : la réforme des programmes et la crise budgétaire coïncident avec la réforme, donc l'effet estimé mélange plusieurs changements.
- Sélection des données : 60 % des établissements ne sont pas représentatifs ; si les établissements manquants sont ruraux ou défavorisés, l'échantillon est biaisé.
- Tendance temporelle : la comparaison avant/après capte aussi la croissance, les migrations, les changements démographiques.
- Exposition hétérogène : les zones rurales sont plus touchées, mais aussi différentes (revenus, distance, qualité des écoles).
Une comparaison avant/après naïve suppose que rien d'autre n'a changé, ce qui est faux ici. Il faut un groupe de comparaison ou une source de variation exogène.
2. Proposer une stratégie de recherche révisée et réalisable avec les données disponibles.
Read the worked answer
Stratégie révisée.
- Utiliser l'intensité d'exposition : comparer les cohortes selon la part d'élèves ruraux ou selon le moment où la réforme a été appliquée localement, si les dates diffèrent.
- Difference-in-differences : comparer l'évolution des résultats dans les établissements fortement exposés et faiblement exposés, avant et après 2015, en testant l'hypothèse de tendances parallèles sur les années antérieures.
- Robustesse : données agrégées par établissement, analyses de sensibilité sur les 60 % disponibles, triangulation avec les entretiens d'enseignants.
- Si aucune variation exogène n'existe, assumer un design descriptif et ne pas parler d'effet causal.
La candidate doit expliciter ce que chaque design identifie et ce qu'il n'identifie pas.
3. Comment la candidate doit-elle répondre à l'objection selon laquelle elle étudie un pays qu'elle ne connaît pas assez ?
Read the worked answer
Elle doit éviter deux écueils : la posture extractive (« je viens chercher des données ») et le relativisme (« je ne peux pas parler »). Réponse possible : reconnaître sa position, s'appuyer sur des collaborateurs locaux, restituer les résultats aux participants, expliquer les limites de ses données, et ne pas généraliser au-delà du cas. Le jury attend une réflexion sur la production située du savoir, pas une confession.