Elección de umbral en un modelo de predicción de abandono estudiantil
Un área de innovación educativa desarrolló un modelo para predecir abandono en 10,000 estudiantes. Con el umbral actual de 0.50, la matriz de confusión es: 96 verdaderos positivos, 64 falsos positivos, 704 falsos negativos y 9,136 verdaderos negativos. La tasa base de abandono es 8 %. Cada abandono no detectado cuesta 30,000 USD en subsidio perdido y cada intervención innecesaria cuesta 2,500 USD. El equipo de tutoría solo puede atender a 600 estudiantes por semestre. Un umbral de 0.20 produce 480 verdaderos positivos, 480 falsos positivos, 320 falsos negativos y 8,720 verdaderos negativos. El proveedor presume 96 % de exactitud. El modelo se entrenó con datos de tres generaciones y usa variables académicas, socioeconómicas y de asistencia. La dirección pide elegir umbral, justificar con costos y revisar riesgos de equidad.
1. Calcule el costo total esperado con cada umbral y el costo por abandono adicional detectado. ¿Qué umbral recomienda en términos económicos?
Read the worked answer
Umbral 0.50: FN = 704 × 30,000 = 21,120,000; FP = 64 × 2,500 = 160,000; total = 21,280,000 USD.
Umbral 0.20: FN = 320 × 30,000 = 9,600,000; FP = 480 × 2,500 = 1,200,000; total = 10,800,000 USD.
El umbral 0.20 reduce el costo en 10,480,000 USD. Detecta 384 abandonos adicionales (480 − 96) a un costo adicional de 1,040,000 USD en falsos positivos, es decir, 2,708 USD por abandono adicional detectado. Como el costo de un abandono no detectado es 30,000 USD, el umbral bajo es preferible en términos económicos. La exactitud de 96 % es engañosa: el modelo original casi no detecta la clase minoritaria.
2. La capacidad de tutoría es 600 estudiantes. ¿Cómo ajusta la recomendación y qué métrica usaría para fijar el punto de operación?
Read the worked answer
Capacidad: 600 intervenciones. Umbral 0.20 marca 960 estudiantes (480 TP + 480 FP), más de la capacidad. Solución: no usar un umbral fijo, sino ordenar por probabilidad y atender a los 600 de mayor riesgo; eso equivale a un umbral cercano a 0.25-0.30. Si se atiende a 600, se espera capturar más de 480 verdaderos positivos y reducir falsos positivos.
Para elegir el punto exacto, calcularía la curva de precisión-recall y el costo esperado con la capacidad como restricción. Si la intervención es de bajo costo (2,500 USD) y alta efectividad, conviene atender 600 aunque algunos sean falsos positivos; si la intervención es invasiva o estigmatizante, se requiere mayor precisión.
3. ¿Qué riesgos de equidad y de realimentación debe auditar antes de desplegar el modelo?
Read the worked answer
Riesgos de equidad: si el modelo usa variables proxy de pobreza, puede sobrerrepresentar a estudiantes de bajos ingresos y activar intervenciones paternalistas. Debe medirse TPR y FPR por género, región, ingreso y condición laboral. También hay riesgo de bucle de retroalimentación: si se interviene solo a los marcados, el modelo aprende de datos parciales y puede perpetuar sesgos.
Recomendaría validación externa, auditoría de variables, posibilidad de apelación y un grupo de control para medir el efecto real de la intervención, no solo la predicción. La métrica de éxito no debe ser la exactitud, sino abandonos evitados por costo y equidad.