Avaliação de algoritmo de classificação sob classes desbalanceadas em triagem
Um hospital pilota um modelo de aprendizado de máquina para triagem de exames de imagem, sinalizando casos suspeitos de uma doença rara. No conjunto de teste, 1.000 exames contêm 20 casos positivos e 980 negativos. O modelo apresenta acurácia de 97%, mas, ao ser analisado, sinaliza como suspeitos apenas 3 dos 20 casos reais. A equipe comemora a acurácia e propõe colocar o modelo em produção imediatamente. O hospital exige que a triagem não deixe passar mais de 10% dos casos positivos.
1. Avalie se a métrica de acurácia é adequada e calcule indicadores que revelem o desempenho real do modelo.
Read the worked answer
A acurácia é enganosa em classes desbalanceadas: um classificador que sempre diz 'negativo' teria 98% de acurácia e nenhuma utilidade clínica.
Cálculos com os dados:
- Verdadeiros positivos (VP) = 3; falsos negativos (FN) = 20 − 3 = 17.
- Recall (sensibilidade) = VP/(VP+FN) = 3/20 = 15%.
- Falsos positivos e verdadeiros negativos dependem do total sinalizado; com 97% de acurácia, acertos = 970. Como VP = 3, verdadeiros negativos = 967, logo falsos positivos = 980 − 967 = 13.
- Precisão = 3/(3+13) ≈ 18,8%.
O modelo deixa passar 85% dos casos positivos, muito acima do limite de 10% exigido (recall mínimo de 90%). Portanto, não está apto à produção.
2. Indique ações para melhorar o modelo e critérios de avaliação antes da implantação.
Read the worked answer
Ações:
- Tratar o desbalanceamento: reamostragem (oversampling da classe positiva/SMOTE), ponderação de classes ou ajuste do limiar de decisão priorizando recall.
- Avaliar com validação cruzada estratificada e relatar matriz de confusão, recall, precisão, F1 e curva ROC/PR (a curva PR é mais informativa em classes raras).
- Definir limiar que garanta recall ≥ 90%, aceitando mais falsos positivos (revisão humana), pois o custo do falso negativo é clínico e grave.
Critérios de implantação: atingir recall ≥ 90% no conjunto de teste independente, com precisão suficiente para não inviabilizar a fila de revisão; validação prospectiva em ambiente controlado; monitoramento contínuo de deriva e revisão por especialistas antes de qualquer decisão clínica. O modelo deve apoiar, não substituir, o julgamento médico.