Krydsentropi er et mål fra informationsteorien, der angiver, hvor meget en forudsagt sandsynlighedsfordeling afviger fra den faktiske. I maskinlæring er det den mest almindelige tabsfunktion til klassifikationsopgaver og også til sprogmodeller, der forudsiger det næste token. Den straffer sikre, forkerte forudsigelser særligt hårdt: At tildele 99 % til den forkerte klasse giver et langt højere tab end at tildele 60 %.
Log loss (logaritmisk tab) måler, hvor godt de forudsagte sandsynligheder fra en klassifikationsmodel stemmer overens med de faktiske udfald. Sikre, men forkerte forudsigelser straffes særligt hårdt; en værdi tæt på nul angiver velkalibrerede prognoser. Eksempel: Hvis en model giver en kunde, der bliver, 95 % sandsynlighed for at forlade virksomheden, stiger log loss kraftigt. Matematisk er det det samme som binær krydsentropi.
Gradientnedstigning er den optimeringsmetode, der bruges til at træne de fleste AI-modeller. Man måler, hvor stor modellens fejl er, beregner i hvilken retning parametrene skal ændres for at mindske den, og tager derefter et lille skridt i den retning – igen og igen. Det er som en vandrer i tåge, der bliver ved med at gå nedad for at nå dalen. Skridtlængden (læringsraten) afgør hastighed og stabilitet.
En klassifikator er en model eller metode, der tildeler input til én af flere foruddefinerede kategorier. Klassiske varianter som beslutningstræer eller naive Bayes trænes på mærkede eksempler; sprogmodeller kan også sortere tekster ud fra en beskrivelse af kategorierne. Typiske anvendelser er spamgenkendelse, sortering af kundehenvendelser efter emne og kategorisering af bilag. Kvaliteten måles med nøgletal som nøjagtighed, præcision og recall.
I maskinlæring betyder konvergens, at en træningsprocedure nærmer sig en stabil tilstand: Tabet falder næsten ikke længere, og modellens parametre ændrer sig kun minimalt. Om og hvor hurtigt en model konvergerer, afhænger af faktorer som læringsrate, datakvalitet og modelarkitektur. Er læringsraten for høj, hopper tabet rundt; er den for lav, tager træningen unødigt lang tid. Konvergens garanterer ikke en god model, da den stadig kan være overfittet.
