A exatidão top-k mede com que frequência a resposta correta se encontra entre as k sugestões mais prováveis de um modelo. No top-1, só conta a primeira previsão; no top-5, basta que a classe correta esteja entre as cinco melhores, uma métrica bem conhecida dos benchmarks de reconhecimento de imagens, como o ImageNet. É útil sempre que os utilizadores veem várias sugestões, por exemplo em recomendações de produtos ou no preenchimento automático.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoUma matriz de confusão é uma tabela que compara as previsões de um classificador com as classes reais. Para duas classes, mostra os verdadeiros positivos, os falsos positivos, os verdadeiros negativos e os falsos negativos. A partir dela, podem calcular-se métricas como a precisão, a revocação e a pontuação F1, e fica claro que erros ocorrem. Exemplo: um filtro de spam que assinala muitos e-mails legítimos como spam tem muitos falsos positivos, o que muitas vezes é mais dispendioso do que uma mensagem de spam não detetada.
A precisão média média (mAP, do inglês mean average precision) é uma métrica que avalia em que medida um sistema encontra resultados relevantes e os coloca perto do topo. A precisão média é calculada ao longo da lista de resultados para cada consulta ou classe de objetos; a mAP é a média de todas elas. É uma medida padrão para motores de pesquisa, sistemas de recomendação e deteção de objetos em imagens, onde depende também da sobreposição exigida das caixas delimitadoras.
O F-score é uma métrica para avaliar modelos de classificação. A pontuação F1, a mais comum, é a média harmónica da precisão (quantos dos acertos previstos estão corretos) e da revocação (quantos dos acertos reais foram encontrados) e varia entre 0 e 1. É especialmente útil com dados desequilibrados: um filtro de spam que quase nunca assinala spam pode ter uma exatidão elevada, mas uma pontuação F1 baixa.
Um classificador é um modelo ou método que atribui entradas a uma de várias categorias predefinidas. As variantes clássicas, como as árvores de decisão ou o naive Bayes, são treinadas com exemplos etiquetados; os modelos de linguagem também podem ordenar textos com base numa descrição das categorias. As utilizações típicas incluem a deteção de spam, a triagem de pedidos de clientes por tema e a categorização de recibos. A qualidade é medida com métricas como a exatidão, a precisão e a revocação.
