Kruisentropie is een maat uit de informatietheorie die aangeeft hoeveel een voorspelde kansverdeling afwijkt van de werkelijke. Bij machine learning is het de meest gebruikte verliesfunctie voor classificatietaken en ook voor taalmodellen die het volgende token voorspellen. Ze straft zelfverzekerde foute voorspellingen bijzonder zwaar: 99% toekennen aan de verkeerde klasse geeft een veel hoger verlies dan 60%.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenLog loss (logaritmisch verlies) meet hoe goed de voorspelde kansen van een classificatiemodel overeenkomen met de werkelijke uitkomsten. Zelfverzekerde maar foute voorspellingen worden bijzonder zwaar gestraft; een waarde dicht bij nul wijst op goed gekalibreerde voorspellingen. Voorbeeld: als een model een kans van 95% op vertrek geeft voor een klant die blijft, stijgt de log loss sterk. Wiskundig is het hetzelfde als binaire kruisentropie.
Gradiëntdaling is de optimalisatiemethode waarmee de meeste AI-modellen worden getraind. U meet hoe groot de fout van het model is, berekent in welke richting de parameters moeten veranderen om die te verkleinen en zet dan een kleine stap in die richting – steeds opnieuw. Het is als een wandelaar in de mist die steeds bergafwaarts blijft lopen om het dal te bereiken. De stapgrootte (leersnelheid) bepaalt snelheid en stabiliteit.
Een classificeerder is een model of methode die invoer toewijst aan een van meerdere vooraf bepaalde categorieën. Klassieke varianten zoals beslisbomen of naive Bayes worden getraind op gelabelde voorbeelden; taalmodellen kunnen teksten ook sorteren aan de hand van een beschrijving van de categorieën. Typische toepassingen zijn spamdetectie, het sorteren van klantvragen op onderwerp en het categoriseren van bonnen. De kwaliteit wordt gemeten met maten zoals nauwkeurigheid, precisie en recall.
Bij machine learning betekent convergentie dat een trainingsprocedure een stabiele toestand benadert: het verlies daalt nauwelijks nog en de modelparameters veranderen slechts minimaal. Of en hoe snel een model convergeert, hangt af van factoren zoals leersnelheid, datakwaliteit en modelarchitectuur. Bij een te hoge leersnelheid springt het verlies heen en weer; bij een te lage duurt de training onnodig lang. Convergentie garandeert geen goed model, want het kan nog steeds overfit zijn.
