Evaluación de una beca contra la deserción con tendencias previas y regla de elegibilidad
El gobierno evaluó el programa Beca Joven, que entrega transferencias condicionadas para reducir la deserción en educación media superior. El programa se expandió por municipios de forma escalonada, y el equipo de evaluación usa diferencias en diferencias comparando municipios tratados temprano con municipios tratados tarde. La estimación inicial indica que la deserción cayó 4.2 puntos porcentuales. Sin embargo, los municipios tratados temprano ya mostraban una tendencia previa de mejora educativa de 1.8 puntos por año, asociada a un auge del empleo formal local; además, otro programa de transporte escolar entró en algunos municipios del grupo de control. La encuesta tiene 15% de attrition y el 20% de los becarios no cobró la transferencia. El presupuesto para la evaluación es limitado y se discute si el resultado es creíble. También existe una regla de elegibilidad: el programa se asignó a municipios con índice de marginación superior a 60, lo que permite otra estrategia. El equipo debe decidir si reporta el efecto, lo corrige o cambia el diseño.
1. Evalúe el supuesto de tendencias paralelas y determine la dirección probable del sesgo de la estimación de diferencias en diferencias.
Read the worked answer
El supuesto de tendencias paralelas exige que, sin programa, la deserción en tratados y controles habría evolucionado igual. Si los municipios tratados temprano ya mejoraban 1.8 puntos por año antes del programa, la estimación de 4.2 puntos absorbe esa tendencia previa y sobreestima el efecto. Si el programa lleva dos años, el sesgo por tendencia sería aproximadamente 3.6 puntos y el efecto atribuible sería cercano a 0.6, aunque el cálculo exacto depende del periodo y de la forma funcional. En sentido contrario, el programa de transporte escolar en algunos controles mejora el grupo de comparación y sesga la estimación hacia abajo. El sesgo neto es ambiguo, pero la violación de tendencias es grave. La attrition de 15% y el 20% de no cobro también pueden sesgar si se concentran en municipios con mayor deserción.
2. Proponga un análisis de eventos y una estrategia de regresión discontinua. Explique qué supuestos deben verificarse.
Read the worked answer
Un análisis de eventos estimaría coeficientes por año relativo al inicio del programa, incluyendo varios años previos. Si los coeficientes previos son cercanos a cero y no muestran tendencia, el supuesto de tendencias paralelas gana credibilidad; si muestran una tendencia creciente antes del tratamiento, el DiD no es válido. La regresión discontinua usaría el índice de marginación con corte en 60: comparar municipios justo arriba y justo abajo del umbral. Debe verificarse que el índice no sea manipulable, que la densidad de municipios sea continua alrededor del corte, que las covariables observables no salten y que los resultados no cambien abruptamente por otras políticas en el umbral. El efecto identificado sería local, para municipios cercanos a 60, no para todo el país. También debe elegirse el ancho de banda con criterios de optimalidad y reportar robustez.
3. Interprete el 4.2% considerando el no cobro de la transferencia y la attrition. ¿Qué parámetro reportaría y con qué advertencias?
Read the worked answer
Con 20% de becarios que no cobraron, el 4.2% es una estimación de intención de tratar (ITT), no el efecto de recibir la beca. Si el no cobro es aleatorio y el programa solo afecta a través de la transferencia, el efecto de tratamiento sobre los tratados (LATE) se aproxima dividiendo el ITT entre la fracción de cumplidores: 4.2/0.8 ≈ 5.25 puntos porcentuales. Ese cálculo exige exclusión y monotonicidad; si los no cobradores se diferencian en motivación, el LATE no es creíble. La attrition de 15% debe analizarse con pruebas de diferencias entre quienes responden y quienes no, y con acotaciones o ponderaciones por probabilidad inversa. Si la attrition es mayor entre municipios con peor desempeño, el efecto puede sobreestimarse. Reportaría el ITT como resultado principal, el LATE como secundario y una discusión explícita de los sesgos. También separaría el efecto sobre deserción del efecto sobre inscripción.