Logaritmisk förlust (log loss) mäter hur väl de förutsagda sannolikheterna från en klassificeringsmodell stämmer med de faktiska utfallen. Säkra men felaktiga förutsägelser straffas särskilt hårt; ett värde nära noll tyder på välkalibrerade prognoser. Exempel: om en modell anger 95 % sannolikhet för bortfall för en kund som blir kvar ökar den logaritmiska förlusten kraftigt. Matematiskt är den detsamma som binär korsentropi.
Korsentropi är ett mått från informationsteorin som anger hur långt en förutsagd sannolikhetsfördelning avviker från den faktiska. Inom maskininlärning är det den vanligaste förlustfunktionen för klassificeringsuppgifter och även för språkmodeller som förutsäger nästa token. Den straffar särskilt hårt säkra felaktiga förutsägelser: att tilldela 99 % till fel klass ger en mycket högre förlust än att tilldela 60 %.
Logistisk regression är en statistisk metod som förutsäger sannolikheten för ett av två utfall, som ”köper” eller ”köper inte”. Den viktar indatavariablerna och omvandlar deras summa till ett värde mellan 0 och 1 med en S-formad funktion. Eftersom vikterna är lätta att tolka används den flitigt inom kreditvärdering, medicin och marknadsföring, ofta som en stabil baslinje för mer komplexa modeller.
En klassificerare är en modell eller metod som placerar indata i en av flera förutbestämda kategorier. Klassiska varianter som beslutsträd eller naiv Bayes tränas på annoterade exempel; språkmodeller kan också sortera texter utifrån en beskrivning av kategorierna. Typiska användningar är skräppostdetektering, sortering av kundförfrågningar efter ämne och kategorisering av kvitton. Kvaliteten mäts med mått som noggrannhet, precision och täckning.
En förväxlingsmatris är en tabell som jämför en klassificerares förutsägelser med de faktiska klasserna. För två klasser visar den sanna positiva, falska positiva, sanna negativa och falska negativa. Utifrån den kan mått som precision, täckning och F1-värde beräknas, och det blir tydligt vilka fel som uppstår. Exempel: ett skräppostfilter som flaggar många riktiga e-postmeddelanden som skräppost har många falska positiva, vilket ofta är dyrare än ett missat skräppostmeddelande.
