Notas do classificador
Cada caso recebe uma nota de 0 a 1. Acima do limiar, o modelo diz positivo. Em cima do eixo ficam os casos que são positivos de verdade; embaixo, os negativos (cada metade tem a sua escala). Arraste a linha preta.
Dados do experimento
Separação 0 é um modelo que chuta; 4 é um modelo quase perfeito. A semente sorteia outro conjunto de casos com as mesmas características.
Matriz de confusão
Métricas
Em problemas com duas classes, o coeficiente Dice é igual ao F1. Ele é muito usado para avaliar a segmentação de imagens médicas, comparando os pixels que o modelo marcou com os marcados por um especialista.
Curvas
ROC
Precisão e revocação
Qual métrica olhar?
- Acurácia é a fração de acertos. Engana quando uma classe é rara: num exame em que só 5% têm a doença, dizer "negativo" para todos acerta 95%.
- Precisão responde: dos que o modelo marcou como positivos, quantos são mesmo? Importa quando o falso alarme custa caro (um e-mail importante indo para o spam).
- Revocação (sensibilidade) responde: dos positivos de verdade, quantos o modelo encontrou? Importa quando deixar passar é grave (uma doença não detectada).
- F1 e Dice equilibram precisão e revocação numa nota só. IoU (índice de Jaccard) é parecido e sempre um pouco menor.
- Curva ROC e AUC avaliam o modelo em todos os limiares de uma vez. AUC 0,5 é um chute; 1 separa tudo. Com classes muito desbalanceadas, a curva de precisão e revocação mostra melhor as diferenças.
Mudar o limiar não deixa o modelo melhor nem pior: só troca um tipo de erro pelo outro. Para melhorar de verdade, é preciso aumentar a separação entre as classes, com dados melhores ou outro modelo.