Regularisering omfattar tekniker som hindrar en modell från att under träningen anpassa sig för nära till sina träningsdata (överanpassning). Exempel är att straffa stora vikter (L1- eller L2-regularisering), slumpmässigt stänga av neuroner (dropout) eller avbryta träningen vid rätt tidpunkt (early stopping). Målet är en enklare modell som presterar mer tillförlitligt på nya, osedda data, även om den får något lägre resultat på träningsdata.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
Dropout är en regulariseringsteknik som används vid träning av neurala nätverk: i varje träningssteg stängs en slumpmässig andel av neuronerna tillfälligt av. Det hindrar nätverket från att förlita sig på enskilda kopplingar, så att det lär sig mer robusta mönster. Tekniken minskar överanpassning, det vill säga att modellen bara memorerar träningsdatan. När den färdiga modellen sedan används är alla neuroner aktiva igen.
Generaliseringsfelet mäter hur mycket en AI-modell missar på nya, tidigare osedda data – i motsats till felet på träningsdatan. Ett stort gap mellan de två tyder på överanpassning: modellen har memorerat exempel i stället för att lära sig allmänna mönster. Det uppskattas med hjälp av undanhållna testdata eller korsvalidering. Det är det värde som verkligen räknas, eftersom en modell i praktiken nästan bara möter nya fall.
Underanpassning uppstår när en modell är för enkel för att fånga sambanden i data. Den gör då många fel både på träningsdata och på nya data, till exempel när en rät linje används för att beskriva ett tydligt krökt mönster. Åtgärder är en kraftfullare modell, mer informativa särdrag, längre träning eller mindre regularisering; det motsatta problemet är överanpassning.
