Dropout är en regulariseringsteknik som används vid träning av neurala nätverk: i varje träningssteg stängs en slumpmässig andel av neuronerna tillfälligt av. Det hindrar nätverket från att förlita sig på enskilda kopplingar, så att det lär sig mer robusta mönster. Tekniken minskar överanpassning, det vill säga att modellen bara memorerar träningsdatan. När den färdiga modellen sedan används är alla neuroner aktiva igen.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
Regularisering omfattar tekniker som hindrar en modell från att under träningen anpassa sig för nära till sina träningsdata (överanpassning). Exempel är att straffa stora vikter (L1- eller L2-regularisering), slumpmässigt stänga av neuroner (dropout) eller avbryta träningen vid rätt tidpunkt (early stopping). Målet är en enklare modell som presterar mer tillförlitligt på nya, osedda data, även om den får något lägre resultat på träningsdata.
Artificiella neurala nätverk (ANN) är beräkningsmodeller som består av många sammankopplade enheter (”neuroner”) ordnade i lager som bearbetar indata via viktade förbindelser. Under träningen justeras vikterna steg för steg med hjälp av exempel, vanligtvis genom backpropagation. ANN är grunden för djupinlärning och driver bildigenkänning, taligenkänning och stora språkmodeller. Trots sin biologiska inspiration fungerar de betydligt enklare än den mänskliga hjärnan.
Batchnormalisering är en teknik för att träna djupa neurala nätverk som för varje databatch skalar om ett lagers mellanvärden till ett enhetligt medelvärde och en enhetlig spridning. Det gör träningen stabilare och ofta snabbare, och nätverket blir mindre känsligt för sina startvärden. Tekniken introducerades 2015 och är vanlig i nätverk för bildigenkänning; transformrar använder oftast den närbesläktade lagernormaliseringen.
