Modelo analítico de triaje de siniestros con drift y variables proxy
Una aseguradora de accidentes personales y gastos médicos desplegó un modelo de aprendizaje supervisado para clasificar reportes de siniestros según probabilidad de fraude y para priorizar su revisión. Se entrenó con 18 meses de casos cerrados, con AUC de 0.81 en la muestra de prueba y una lista de variables que incluye código postal, ocupación, canal de venta y tipo de diagnóstico. En los últimos seis meses, una alianza comercial con una fintech duplicó la cartera en municipios de menor ingreso; el área de datos reporta un índice de estabilidad poblacional de 0.31 y la tasa de falsos positivos pasó de 9% a 23%. Además, la etiqueta de fraude proviene de resoluciones internas del área de siniestros, no de sentencias, y 40% de los casos recientes siguen abiertos y se excluyeron del entrenamiento. La dirección quiere usar el modelo también para decidir renovaciones y recargos individuales el próximo trimestre.
1. Evalúe la validez del modelo y proponga un esquema de validación y monitoreo antes de ampliar su uso.
Read the worked answer
El AUC de 0.81 es un dato de muestra de prueba construida con casos cerrados y no informa sobre el desempeño actual. Tres problemas estructurales:
- Sesgo temporal y de maduración: al excluir 40% de casos abiertos se elimina precisamente la cartera reciente, la que más se parece a la que se quiere puntuar. El modelo aprende de un régimen que ya no existe.
- Definición de la etiqueta: «fraude» según resolución interna incorpora el sesgo del propio equipo de siniestros, que investiga más donde ya sospecha. El modelo aprende a replicar la sospecha, no el fraude.
- Drift: un índice de estabilidad de 0.31 en las variables de entrada y falsos positivos de 9% a 23% indican que la relación aprendida se rompió.
Validación exigible: validación fuera de tiempo sobre cohortes recientes, curva de calibración y no sólo discriminación, análisis por segmento, y backtesting del efecto de las decisiones tomadas con el modelo. Monitoreo mensual de PSI por variable, tasa de falsos positivos, calibración y estabilidad de la cartera, con umbral de alerta y plan de reentrenamiento con champion-challenger.
2. Analice el uso del código postal, la ocupación y el canal de venta: ¿qué riesgo jurídico y ético existe y cómo se mitiga?
Read the worked answer
El código postal y la ocupación no son variables inocuas: funcionan como proxies de nivel de ingreso y, en la práctica, de origen social o étnico. Su uso puede producir impacto desproporcionado aunque no se utilice la variable prohibida de forma directa, y ese es exactamente el tipo de discriminación indirecta que el marco mexicano busca evitar.
Criterios para admitir una variable de tarificación o de triaje: nexo causal verificable con el riesgo, disponibilidad y verificabilidad del dato, control por parte del asegurado y ausencia de efecto discriminatorio injustificado. El código postal difícilmente pasa el filtro para triaje de fraude; la ocupación puede tener justificación en ciertos ramos (exposición laboral) pero no en fraude sin evidencia.
Mitigación: prueba de impacto dispar por segmento con umbrales definidos antes de la validación, eliminación o agrupamiento de variables proxy, revisión de la justificación de cada variable en el expediente del modelo, y separación clara entre el uso en pricing (con bases técnicas) y el uso en investigación de siniestros (donde la decisión final debe ser humana). Todo tratamiento de datos personales exige aviso de privacidad, finalidad y mecanismos de derechos del titular.
3. ¿Debería autorizarse el uso del modelo para renovaciones y recargos individuales? Justifique y describa los controles de gobernanza necesarios.
Read the worked answer
No en este momento, y probablemente no con este modelo. Cambiar el uso de triaje interno a decisión de precio y permanencia modifica la naturaleza del riesgo: pasa de priorizar revisión, con humano en el circuito, a afectar derechos económicos del asegurado con una caja negra que no está calibrada para ese fin.
Requisitos mínimos antes de considerarlo:
- Finalidad declarada y coherencia con la nota técnica y el documento de cobertura; un recargo individual debe sustentarse en bases técnicas, no en un score de fraude.
- Explicabilidad: poder señalar los factores determinantes de la decisión y ofrecer al asegurado una explicación comprensible, además de una vía de reconsideración.
- Gobernanza del modelo: inventario con dueño, documentación tipo ficha de modelo, validación independiente, aprobación por comité de riesgos y consejo, bitácora de versiones y auditoría de decisiones.
- Control humano en toda decisión adversa, con revisión muestral de calidad y mecanismo para suspender el modelo.
Recomendación: mantenerlo como herramienta de priorización, con intervención humana obligatoria, mientras se reconstruye la etiqueta con resolución documentada y se demuestra calibración estable en la cartera nueva.