Gradiëntdaling is de optimalisatiemethode waarmee de meeste AI-modellen worden getraind. U meet hoe groot de fout van het model is, berekent in welke richting de parameters moeten veranderen om die te verkleinen en zet dan een kleine stap in die richting – steeds opnieuw. Het is als een wandelaar in de mist die steeds bergafwaarts blijft lopen om het dal te bereiken. De stapgrootte (leersnelheid) bepaalt snelheid en stabiliteit.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenBackpropagation is de standaardmethode waarmee neurale netwerken leren. Na elke voorspelling wordt de fout gemeten en achterwaarts door de lagen van het netwerk doorgegeven, zodat zichtbaar wordt hoeveel elk gewicht eraan heeft bijgedragen. Een optimalisatiemethode zoals gradient descent past de gewichten vervolgens stap voor stap aan. Zonder backpropagation zou het trainen van de huidige taal- en beeldmodellen praktisch onmogelijk zijn.
Bij machine learning betekent convergentie dat een trainingsprocedure een stabiele toestand benadert: het verlies daalt nauwelijks nog en de modelparameters veranderen slechts minimaal. Of en hoe snel een model convergeert, hangt af van factoren zoals leersnelheid, datakwaliteit en modelarchitectuur. Bij een te hoge leersnelheid springt het verlies heen en weer; bij een te lage duurt de training onnodig lang. Convergentie garandeert geen goed model, want het kan nog steeds overfit zijn.
Kruisentropie is een maat uit de informatietheorie die aangeeft hoeveel een voorspelde kansverdeling afwijkt van de werkelijke. Bij machine learning is het de meest gebruikte verliesfunctie voor classificatietaken en ook voor taalmodellen die het volgende token voorspellen. Ze straft zelfverzekerde foute voorspellingen bijzonder zwaar: 99% toekennen aan de verkeerde klasse geeft een veel hoger verlies dan 60%.
Hyperparameters zijn instellingen die vóór het trainen van een model worden vastgelegd, zoals de leersnelheid, het aantal lagen of de sterkte van de regularisatie. Hyperparameteroptimalisatie zoekt systematisch de combinatie die het best presteert op validatiedata, bijvoorbeeld via grid search, random search of bayesiaanse optimalisatie. Goed gekozen waarden verbeteren de nauwkeurigheid en verminderen over- of underfitting, maar het zoeken kost rekentijd.
