Batch normalization er en teknik til træning af dybe neurale netværk, der for hver batch af data skalerer et lags mellemværdier til et ensartet gennemsnit og en ensartet spredning. Det gør træningen mere stabil og ofte hurtigere, og netværket bliver mindre følsomt over for sine startværdier. Teknikken blev introduceret i 2015 og er almindelig i netværk til billedgenkendelse; transformere bruger som regel den beslægtede layer normalization.
Deep learning er en gren af maskinlæring, der bruger kunstige neurale netværk med mange lag. Sådanne netværk lærer ud fra store datamængder, hvilke træk der er vigtige – fra kanter i billeder til betydningsrelationer i tekster. Deep learning ligger til grund for nutidens sprogmodeller, billed- og talegenkendelse og maskinoversættelse og kræver som regel betydelig regnekraft og mange træningsdata.
Dropout er en regulariseringsteknik, der bruges ved træning af neurale netværk: I hvert træningstrin slås en tilfældig andel af neuronerne midlertidigt fra. Det forhindrer netværket i at støtte sig til enkelte forbindelser, så det lærer mere robuste mønstre. Det reducerer overfitting, dvs. at modellen blot lærer træningsdataene udenad. Når den færdige model senere bruges, er alle neuroner aktive igen.
Regularisering omfatter teknikker, der under træningen forhindrer en model i at tilpasse sig træningsdataene for tæt (overfitting). Eksempler er straf for store vægte (L1- eller L2-regularisering), tilfældig frakobling af neuroner (dropout) eller at stoppe træningen på det rette tidspunkt (early stopping). Målet er en enklere model, der fungerer mere pålideligt på nye, usete data, selv om den scorer lidt lavere på træningsdataene.
Gradientnedstigning er den optimeringsmetode, der bruges til at træne de fleste AI-modeller. Man måler, hvor stor modellens fejl er, beregner i hvilken retning parametrene skal ændres for at mindske den, og tager derefter et lille skridt i den retning – igen og igen. Det er som en vandrer i tåge, der bliver ved med at gå nedad for at nå dalen. Skridtlængden (læringsraten) afgør hastighed og stabilitet.
