I maskinlæring betyder konvergens, at en træningsprocedure nærmer sig en stabil tilstand: Tabet falder næsten ikke længere, og modellens parametre ændrer sig kun minimalt. Om og hvor hurtigt en model konvergerer, afhænger af faktorer som læringsrate, datakvalitet og modelarkitektur. Er læringsraten for høj, hopper tabet rundt; er den for lav, tager træningen unødigt lang tid. Konvergens garanterer ikke en god model, da den stadig kan være overfittet.
Gradientnedstigning er den optimeringsmetode, der bruges til at træne de fleste AI-modeller. Man måler, hvor stor modellens fejl er, beregner i hvilken retning parametrene skal ændres for at mindske den, og tager derefter et lille skridt i den retning – igen og igen. Det er som en vandrer i tåge, der bliver ved med at gå nedad for at nå dalen. Skridtlængden (læringsraten) afgør hastighed og stabilitet.
I maskinlæring er en indlæringskurve et diagram, der viser en models ydeevne eller fejl over træningstid eller mængden af træningsdata, som regel adskilt for trænings- og valideringsdata. Dens form afslører, om en model underfitter eller overfitter, og om flere data sandsynligvis vil hjælpe. Hvis valideringsfejlen f.eks. forbliver klart over træningsfejlen, peger det på overfitting. I dagligdags sprog beskriver begrebet også, hvor hurtigt mennesker mestrer en ny teknologi.
Træningsfejl angiver, hvor langt en models forudsigelser afviger fra de korrekte værdier på netop de data, den er trænet på. I sig selv siger den ikke meget: det afgørende er sammenligningen med generaliseringsfejlen på nye data. En høj træningsfejl peger på underfitting; en meget lav træningsfejl kombineret med en høj fejl på testdata er som regel et tegn på overfitting.
Hyperparametre er indstillinger, der fastlægges, før en model trænes, f.eks. læringsraten, antallet af lag eller regulariseringens styrke. Hyperparameteroptimering søger systematisk efter den kombination, der klarer sig bedst på valideringsdata, f.eks. gennem grid search, random search eller bayesiansk optimering. Velvalgte værdier forbedrer nøjagtigheden og mindsker over- eller underfitting, men søgningen koster regnetid.
