El piloto de transferencias condicionadas que aún no decide una ampliación
En 2023 el gobierno de Monteverde operó un piloto de transferencia monetaria condicionada a la asistencia escolar en 80 localidades rurales: 40 fueron asignadas al programa y 40 quedaron como comparación. El beneficio fue de 4,800 pesos por hogar al año y la condición era que los menores asistieran al menos 85 por ciento de los días. Al cierre, 18 por ciento de los hogares de la muestra original no pudo localizarse; además, 12 por ciento de los hogares de comparación recibió un apoyo similar de un programa municipal que arrancó a mitad del año. La evaluación reporta un efecto de 6.2 puntos porcentuales en asistencia, con intervalo de confianza de 95 por ciento de [-1.1, 13.5]. El secretario de Desarrollo Social quiere anunciar la ampliación estatal en marzo, antes del cierre de su gestión, y pide a la dirección de evaluación 'quitar el asterisco' del intervalo.
1. Interprete el estimado y su intervalo. ¿En qué dirección sesgan la contaminación del grupo de comparación y la atrición, y qué se puede afirmar con esta evidencia?
Read the worked answer
El 6.2 es la diferencia media entre localidades asignadas y de comparación, es decir, un estimado de intención de tratar. El intervalo [-1.1, 13.5] incluye el cero, así que al 5 por ciento no se puede rechazar la hipótesis de efecto nulo; pero tampoco se puede decir que el programa 'no funciona', porque el intervalo es compatible con efectos grandes. La conclusión honesta es 'evidencia no concluyente'.
La contaminación sesga el estimado hacia cero: si 12 por ciento del grupo de comparación recibió un apoyo parecido, parte del contrafactual también fue tratada y la diferencia observada se reduce. El efecto verdadero probablemente es mayor que 6.2, pero no puede afirmarse sin modelar la intensidad y el momento de la contaminación. La atrición de 18 por ciento es más grave porque sesga en dirección desconocida: si migran los hogares más pobres o los que más se benefician, el estimado puede estar sobrestimado o subestimado. Antes de comunicar hay que verificar el balance de la muestra original y de la muestra con seguimiento, y reportar cotas de sesgo en lugar de un solo número.
2. Calcule y explique el efecto sobre los tratados (TOT) y discuta qué supuestos se necesitan. ¿Qué debería reportarse al público: ITT o TOT?
Read the worked answer
El TOT se obtiene dividiendo el efecto de intención de tratar entre la fracción de complacientes. Si la única fuente de no cumplimiento es la contaminación del 12 por ciento, TOT ≈ 6.2 / 0.88 ≈ 7.0 puntos porcentuales. El cálculo es aritmética simple; el problema son los supuestos: se asume que la contaminación es la única fuente de no cumplimiento, que no hay efectos indirectos sobre los no tratados y que el programa municipal llegó de forma aleatoria. Si el apoyo municipal se concentró en localidades con mejor infraestructura escolar, el cociente sobreestima.
Lo correcto es reportar ambos y explicar para qué sirve cada uno. El ITT responde a la pregunta de política: ¿qué obtengo si asigno el programa a una localidad cualquiera? El TOT responde a una pregunta distinta: ¿qué efecto tiene sobre quienes efectivamente lo reciben? Para decidir una ampliación, el ITT es el parámetro relevante, porque la ampliación también enfrentará problemas de cobertura y filtraciones.
Además conviene reportar heterogeneidad por asistencia basal y distancia a la escuela, y el costo por punto porcentual ganado: 4,800 pesos por hogar con un efecto de 7 puntos implica un costo por punto de asistencia que debe compararse con alternativas como transporte escolar o becas sin condicionalidad.
3. ¿Debe el secretario anunciar la ampliación estatal en marzo? Formule una recomendación con diseño de escalamiento y reglas de decisión.
Read the worked answer
No con esta evidencia, y no por el asterisco, sino porque el diseño todavía no permite saber si el efecto persiste a escala. Recomendación: ampliación gradual por cohortes, con asignación aleatoria en el margen. La primera cohorte cubre 60 localidades adicionales elegidas por sorteo entre las elegibles; la segunda se incorpora doce meses después. Así se mide el efecto a escala y con reglas de operación definitivas, sin renunciar a la expansión.
Antes de escalar hay que corregir tres cosas del piloto: el umbral de condicionalidad y su verificación, la ventana y el mecanismo de pago, y el sistema de localización de hogares para reducir la atrición. También hay que comprometer línea de base y seguimiento a 24 meses, y preinscribir el plan de análisis para que la evaluación no se ajuste a los resultados.
Si la restricción política exige un anuncio en marzo, la salida honesta es anunciar 'ampliación gradual sujeta a evaluación', con presupuesto plurianual y una regla explícita: la segunda cohorte se libera si el efecto a escala supera cierto umbral con intervalo que excluya el cero. Lo que no es aceptable es presentar 6.2 puntos como prueba de éxito ni eliminar el intervalo de la comunicación oficial, porque eso destruye la credibilidad de la dirección de evaluación y el valor del piloto.