A área sob a curva (AUC) é uma métrica para modelos de classificação, referindo-se normalmente à curva ROC. Indica em que medida um modelo separa casos positivos de negativos, independentemente de qualquer limiar específico. Um valor de 1 significa separação perfeita; 0,5 não é melhor do que adivinhar. Exemplo: um modelo de abandono com AUC de 0,85 classifica um cliente que sai, escolhido ao acaso, como mais arriscado do que um cliente fiel em 85 % dos casos.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoA curva ROC (receiver operating characteristic) mostra a capacidade de um modelo de classificação para separar duas classes. Para cada limiar de decisão possível, representa a taxa de verdadeiros positivos (recall) em função da taxa de falsos positivos. Quanto mais a curva se aproxima do canto superior esquerdo, melhor; a diagonal corresponde a um palpite puro. A área sob a curva (AUC) resume-a num único número e ajuda, por exemplo, a comparar diferentes modelos de deteção de fraude.
O F-score é uma métrica para avaliar modelos de classificação. A pontuação F1, a mais comum, é a média harmónica da precisão (quantos dos acertos previstos estão corretos) e da revocação (quantos dos acertos reais foram encontrados) e varia entre 0 e 1. É especialmente útil com dados desequilibrados: um filtro de spam que quase nunca assinala spam pode ter uma exatidão elevada, mas uma pontuação F1 baixa.
Uma matriz de confusão é uma tabela que compara as previsões de um classificador com as classes reais. Para duas classes, mostra os verdadeiros positivos, os falsos positivos, os verdadeiros negativos e os falsos negativos. A partir dela, podem calcular-se métricas como a precisão, a revocação e a pontuação F1, e fica claro que erros ocorrem. Exemplo: um filtro de spam que assinala muitos e-mails legítimos como spam tem muitos falsos positivos, o que muitas vezes é mais dispendioso do que uma mensagem de spam não detetada.
O log loss (perda logarítmica) mede em que medida as probabilidades previstas por um modelo de classificação correspondem aos resultados reais. As previsões confiantes, mas erradas, são penalizadas de forma especialmente forte; um valor próximo de zero indica previsões bem calibradas. Exemplo: se um modelo atribui 95 % de probabilidade de abandono a um cliente que fica, o log loss sobe acentuadamente. Matematicamente, é o mesmo que a entropia cruzada binária.
