Una matrice di confusione è una tabella che confronta le previsioni di un classificatore con le classi reali. Con due classi mostra veri positivi, falsi positivi, veri negativi e falsi negativi. Da questi valori si calcolano metriche come precisione, recall e F1 score e si capisce quali errori si verificano. Esempio: un filtro antispam che segnala come spam molte e-mail autentiche ha molti falsi positivi, spesso più costosi di uno spam non rilevato.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoL’F-score è un indicatore per valutare i modelli di classificazione. La comune misura F1 è la media armonica tra precisione (quanti dei risultati trovati sono corretti) e richiamo, o recall (quanti dei casi reali sono stati trovati), e varia tra 0 e 1. È particolarmente utile con dati sbilanciati: un filtro antispam che non segnala quasi mai lo spam può avere un’accuratezza alta ma un F1 basso.
Il recall (sensibilità) misura quale quota dei casi realmente positivi un modello riconosce: positivi individuati correttamente diviso tutti i positivi reali. Se un filtro antifrode scopre 80 frodi su 100 reali, il recall è 0,8. Un recall alto è importante quando i casi mancati costano cari, ad esempio nelle diagnosi mediche. Poiché non considera i falsi allarmi, di solito si valuta insieme alla precisione, ad esempio nell'F-score.
Un classificatore è un modello o un metodo che assegna un input a una tra diverse categorie predefinite. Le varianti classiche, come gli alberi decisionali o Naive Bayes, vengono addestrate con esempi etichettati; anche i modelli linguistici possono classificare testi sulla base di una descrizione delle categorie. Usi tipici sono il rilevamento dello spam, lo smistamento delle richieste dei clienti per tema e la classificazione di documenti contabili. La qualità si misura con metriche come accuratezza, precisione e recall.
La curva ROC (receiver operating characteristic) mostra quanto bene un modello di classificazione separa due classi. Per ogni possibile soglia decisionale riporta il tasso di veri positivi (recall) rispetto al tasso di falsi allarmi. Più la curva si avvicina all'angolo in alto a sinistra, meglio è; la diagonale corrisponde a un'ipotesi casuale. L'area sottostante (AUC) riassume la curva in un solo numero e aiuta, ad esempio, a confrontare diversi modelli antifrode.
