O painel de evasão escolar e o modelo de previsão
Uma secretaria municipal de educação quer usar um modelo de aprendizado de máquina para identificar alunos com risco de evasão. O conjunto histórico tem 40 mil registros de alunos, dos quais 3% evadiram. O modelo em teste apresenta acurácia de 96%, mas o relatório mostra que ele classifica quase todos os alunos como "não risco". A equipe técnica propõe usar o modelo para visitas domiciliares, com capacidade de atender apenas 500 famílias por mês. A secretária quer divulgar que "o sistema acerta 96% dos casos". Um conselheiro tutelar pergunta se o modelo usa dados de saúde e de renda das famílias, e a equipe responde que sim, mas que "os dados já estavam no sistema".
1. Explique por que a acurácia de 96% é enganosa nesse contexto e proponha métricas mais adequadas.
Read the worked answer
Com 3% de evasão, um modelo que classifique todos como "não risco" já acerta 97% dos casos, pois a classe majoritária domina. A acurácia de 96% pode, portanto, esconder desempenho péssimo na classe de interesse. O relatório indica exatamente isso: quase todos são classificados como não risco, o que sugere recall baixo para evadidos. Métricas adequadas: recall (quantos evadidos reais foram identificados), precisão (quantos dos sinalizados realmente evadiram), F1, curva precisão-recall e AUC-PR. Como a capacidade é de 500 visitas por mês, também importa a precisão no topo do ranking, por exemplo a taxa de acerto entre os 500 mais bem pontuados. A secretária não deve divulgar "96% de acerto" sem explicar a base e a classe minoritária.
2. Discuta os riscos éticos e legais do uso de dados de saúde e renda para priorizar visitas, e indique duas salvaguardas.
Read the worked answer
Dados de saúde e renda são sensíveis e seu uso para classificar famílias pode gerar estigmatização, discriminação e violação de expectativas de privacidade, além de problemas de base legal e finalidade. O fato de os dados "já estarem no sistema" não autoriza uso irrestrito para outra finalidade; é preciso verificar a base legal, a finalidade compatível e a transparência. Salvaguardas: (1) avaliação de impacto e minimização de dados, usando apenas variáveis necessárias e justificadas, com anonimização quando possível; (2) supervisão humana e direito de contestação, com revisão das sinalizações por profissionais antes da visita e comunicação às famílias sobre o uso dos dados. Também é recomendável testar viés por grupo e publicar critérios gerais.
3. A equipe propõe usar o modelo para decidir quais alunos recebem reforço escolar obrigatório. Avalie essa mudança de uso.
Read the worked answer
Mudar de priorização de visitas para decisão sobre reforço obrigatório altera a natureza do uso: passa de apoio à gestão para decisão que afeta diretamente o aluno. Isso exige maior rigor, pois erros do modelo podem impor obrigações indevidas ou deixar de atender quem precisa. Recomenda-se manter a decisão final com profissionais, usar o modelo apenas como triagem, garantir revisão e recurso, medir o desempenho no limiar usado e evitar uso de variáveis sensíveis sem justificativa. A mudança deve ser submetida a avaliação de impacto e a regras claras de governança.