Generaliseringsfelet mäter hur mycket en AI-modell missar på nya, tidigare osedda data – i motsats till felet på träningsdatan. Ett stort gap mellan de två tyder på överanpassning: modellen har memorerat exempel i stället för att lära sig allmänna mönster. Det uppskattas med hjälp av undanhållna testdata eller korsvalidering. Det är det värde som verkligen räknas, eftersom en modell i praktiken nästan bara möter nya fall.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
Underanpassning uppstår när en modell är för enkel för att fånga sambanden i data. Den gör då många fel både på träningsdata och på nya data, till exempel när en rät linje används för att beskriva ett tydligt krökt mönster. Åtgärder är en kraftfullare modell, mer informativa särdrag, längre träning eller mindre regularisering; det motsatta problemet är överanpassning.
Träningsfel anger hur mycket en modells förutsägelser avviker från de korrekta värdena på exakt de data den tränades på. I sig säger det lite: det som räknas är jämförelsen med generaliseringsfelet på nya data. Ett högt träningsfel tyder på underanpassning; ett mycket lågt träningsfel i kombination med ett högt fel på testdata signalerar vanligtvis överanpassning.
Korsvalidering är en metod för att kontrollera hur väl en modell generaliserar till nya, osedda data. Vid k-faldig korsvalidering delas data upp i k delar; modellen tränas k gånger på k−1 delar och testas varje gång på den återstående delen, varefter resultaten medelvärdesbildas. Det hjälper till att upptäcka överanpassning och att jämföra modeller eller inställningar rättvist, särskilt när det finns lite data.
