La curva ROC (receiver operating characteristic) mostra quanto bene un modello di classificazione separa due classi. Per ogni possibile soglia decisionale riporta il tasso di veri positivi (recall) rispetto al tasso di falsi allarmi. Più la curva si avvicina all'angolo in alto a sinistra, meglio è; la diagonale corrisponde a un'ipotesi casuale. L'area sottostante (AUC) riassume la curva in un solo numero e aiuta, ad esempio, a confrontare diversi modelli antifrode.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoL’area sotto la curva (Area Under the Curve, AUC) è un indicatore per i modelli di classificazione, riferito di solito alla curva ROC. Esprime quanto bene un modello separa i casi positivi da quelli negativi, indipendentemente da una soglia specifica. Un valore di 1 indica una separazione perfetta, 0,5 equivale a tirare a indovinare. Esempio: un modello di abbandono con AUC 0,85 giudica più a rischio un cliente che se ne va rispetto a uno fedele nell’85% dei casi.
Il recall (sensibilità) misura quale quota dei casi realmente positivi un modello riconosce: positivi individuati correttamente diviso tutti i positivi reali. Se un filtro antifrode scopre 80 frodi su 100 reali, il recall è 0,8. Un recall alto è importante quando i casi mancati costano cari, ad esempio nelle diagnosi mediche. Poiché non considera i falsi allarmi, di solito si valuta insieme alla precisione, ad esempio nell'F-score.
Una matrice di confusione è una tabella che confronta le previsioni di un classificatore con le classi reali. Con due classi mostra veri positivi, falsi positivi, veri negativi e falsi negativi. Da questi valori si calcolano metriche come precisione, recall e F1 score e si capisce quali errori si verificano. Esempio: un filtro antispam che segnala come spam molte e-mail autentiche ha molti falsi positivi, spesso più costosi di uno spam non rilevato.
Un classificatore è un modello o un metodo che assegna un input a una tra diverse categorie predefinite. Le varianti classiche, come gli alberi decisionali o Naive Bayes, vengono addestrate con esempi etichettati; anche i modelli linguistici possono classificare testi sulla base di una descrizione delle categorie. Usi tipici sono il rilevamento dello spam, lo smistamento delle richieste dei clienti per tema e la classificazione di documenti contabili. La qualità si misura con metriche come accuratezza, precisione e recall.
