Log loss (logaritmisk tab) måler, hvor godt de forudsagte sandsynligheder fra en klassifikationsmodel stemmer overens med de faktiske udfald. Sikre, men forkerte forudsigelser straffes særligt hårdt; en værdi tæt på nul angiver velkalibrerede prognoser. Eksempel: Hvis en model giver en kunde, der bliver, 95 % sandsynlighed for at forlade virksomheden, stiger log loss kraftigt. Matematisk er det det samme som binær krydsentropi.
Krydsentropi er et mål fra informationsteorien, der angiver, hvor meget en forudsagt sandsynlighedsfordeling afviger fra den faktiske. I maskinlæring er det den mest almindelige tabsfunktion til klassifikationsopgaver og også til sprogmodeller, der forudsiger det næste token. Den straffer sikre, forkerte forudsigelser særligt hårdt: At tildele 99 % til den forkerte klasse giver et langt højere tab end at tildele 60 %.
Logistisk regression er en statistisk metode, der forudsiger sandsynligheden for et af to udfald, f.eks. »køber« eller »køber ikke«. Den vægter input-features og omdanner deres sum til en værdi mellem 0 og 1 med en S-formet funktion. Fordi vægtene er lette at fortolke, er den udbredt inden for kreditscoring, medicin og marketing, ofte som en solid baseline for mere komplekse modeller.
En klassifikator er en model eller metode, der tildeler input til én af flere foruddefinerede kategorier. Klassiske varianter som beslutningstræer eller naive Bayes trænes på mærkede eksempler; sprogmodeller kan også sortere tekster ud fra en beskrivelse af kategorierne. Typiske anvendelser er spamgenkendelse, sortering af kundehenvendelser efter emne og kategorisering af bilag. Kvaliteten måles med nøgletal som nøjagtighed, præcision og recall.
En forvekslingsmatrix (confusion matrix) er en tabel, der sammenligner en klassifikators forudsigelser med de faktiske klasser. For to klasser viser den sande positive, falske positive, sande negative og falske negative. Heraf kan der beregnes nøgletal som præcision, recall og F1-score, og det bliver tydeligt, hvilke fejl der opstår. Eksempel: Et spamfilter, der markerer mange ægte e-mails som spam, har mange falske positive, hvilket ofte er dyrere end en overset spambesked.
