Dropout er en regulariseringsteknik, der bruges ved træning af neurale netværk: I hvert træningstrin slås en tilfældig andel af neuronerne midlertidigt fra. Det forhindrer netværket i at støtte sig til enkelte forbindelser, så det lærer mere robuste mønstre. Det reducerer overfitting, dvs. at modellen blot lærer træningsdataene udenad. Når den færdige model senere bruges, er alle neuroner aktive igen.
Overfitting opstår, når en model lærer træningsdataene udenad, inklusive tilfældige særheder og støj, i stedet for at fange generelt gyldige mønstre. Den virker så meget nøjagtig på kendte data, men klarer sig dårligt på nye data. En stor forskel mellem trænings- og testfejl er et typisk tegn. Modforanstaltninger er flere eller mere varierede data, enklere modeller, regularisering, dropout og krydsvalidering.
Regularisering omfatter teknikker, der under træningen forhindrer en model i at tilpasse sig træningsdataene for tæt (overfitting). Eksempler er straf for store vægte (L1- eller L2-regularisering), tilfældig frakobling af neuroner (dropout) eller at stoppe træningen på det rette tidspunkt (early stopping). Målet er en enklere model, der fungerer mere pålideligt på nye, usete data, selv om den scorer lidt lavere på træningsdataene.
Kunstige neurale netværk (ANN'er) er beregningsmodeller bestående af mange forbundne enheder (»neuroner«) arrangeret i lag, som behandler input via vægtede forbindelser. Under træning justeres vægtene trin for trin ud fra eksempler, som regel ved backpropagation. ANN'er er fundamentet for deep learning og driver billedgenkendelse, talegenkendelse og store sprogmodeller. På trods af den biologiske inspiration fungerer de langt mere enkelt end den menneskelige hjerne.
Batch normalization er en teknik til træning af dybe neurale netværk, der for hver batch af data skalerer et lags mellemværdier til et ensartet gennemsnit og en ensartet spredning. Det gør træningen mere stabil og ofte hurtigere, og netværket bliver mindre følsomt over for sine startværdier. Teknikken blev introduceret i 2015 og er almindelig i netværk til billedgenkendelse; transformere bruger som regel den beslægtede layer normalization.
