O F-score é uma métrica para avaliar modelos de classificação. A pontuação F1, a mais comum, é a média harmónica da precisão (quantos dos acertos previstos estão corretos) e da revocação (quantos dos acertos reais foram encontrados) e varia entre 0 e 1. É especialmente útil com dados desequilibrados: um filtro de spam que quase nunca assinala spam pode ter uma exatidão elevada, mas uma pontuação F1 baixa.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO recall (também chamado sensibilidade ou taxa de verdadeiros positivos) mede a proporção dos casos realmente positivos que um modelo deteta: positivos corretamente identificados a dividir por todos os positivos reais. Se um filtro de fraude apanha 80 de 100 casos reais de fraude, o seu recall é 0,8. Um recall elevado é importante quando os casos não detetados são dispendiosos, como no diagnóstico médico. Como ignora os falsos alarmes, é geralmente considerado em conjunto com a precisão, por exemplo na pontuação F.
Uma matriz de confusão é uma tabela que compara as previsões de um classificador com as classes reais. Para duas classes, mostra os verdadeiros positivos, os falsos positivos, os verdadeiros negativos e os falsos negativos. A partir dela, podem calcular-se métricas como a precisão, a revocação e a pontuação F1, e fica claro que erros ocorrem. Exemplo: um filtro de spam que assinala muitos e-mails legítimos como spam tem muitos falsos positivos, o que muitas vezes é mais dispendioso do que uma mensagem de spam não detetada.
A área sob a curva (AUC) é uma métrica para modelos de classificação, referindo-se normalmente à curva ROC. Indica em que medida um modelo separa casos positivos de negativos, independentemente de qualquer limiar específico. Um valor de 1 significa separação perfeita; 0,5 não é melhor do que adivinhar. Exemplo: um modelo de abandono com AUC de 0,85 classifica um cliente que sai, escolhido ao acaso, como mais arriscado do que um cliente fiel em 85 % dos casos.
A exatidão top-k mede com que frequência a resposta correta se encontra entre as k sugestões mais prováveis de um modelo. No top-1, só conta a primeira previsão; no top-5, basta que a classe correta esteja entre as cinco melhores, uma métrica bem conhecida dos benchmarks de reconhecimento de imagens, como o ImageNet. É útil sempre que os utilizadores veem várias sugestões, por exemplo em recomendações de produtos ou no preenchimento automático.
