Korsvalidering är en metod för att kontrollera hur väl en modell generaliserar till nya, osedda data. Vid k-faldig korsvalidering delas data upp i k delar; modellen tränas k gånger på k−1 delar och testas varje gång på den återstående delen, varefter resultaten medelvärdesbildas. Det hjälper till att upptäcka överanpassning och att jämföra modeller eller inställningar rättvist, särskilt när det finns lite data.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
Generaliseringsfelet mäter hur mycket en AI-modell missar på nya, tidigare osedda data – i motsats till felet på träningsdatan. Ett stort gap mellan de två tyder på överanpassning: modellen har memorerat exempel i stället för att lära sig allmänna mönster. Det uppskattas med hjälp av undanhållna testdata eller korsvalidering. Det är det värde som verkligen räknas, eftersom en modell i praktiken nästan bara möter nya fall.
Hyperparametrar är inställningar som fastställs innan en modell tränas, till exempel inlärningshastigheten, antalet lager eller regulariseringens styrka. Hyperparameteroptimering söker systematiskt efter den kombination som presterar bäst på valideringsdata, till exempel genom rutnätssökning, slumpmässig sökning eller bayesiansk optimering. Väl valda värden förbättrar träffsäkerheten och minskar över- och underanpassning, men sökningen kostar beräkningstid.
Träningsdata är de exempel som en AI-modell lär sig mönster av: stora textsamlingar för språkmodeller, märkta bilder för bildmodeller. Deras kvalitet, mångfald och aktualitet avgör till stor del hur tillförlitlig och rättvis en modell är och hur aktuell dess kunskap blir. För organisationer spelar det också roll om en leverantör använder de kunddata som de matar in för vidare träning.
