Regularisering omfatter teknikker, der under træningen forhindrer en model i at tilpasse sig træningsdataene for tæt (overfitting). Eksempler er straf for store vægte (L1- eller L2-regularisering), tilfældig frakobling af neuroner (dropout) eller at stoppe træningen på det rette tidspunkt (early stopping). Målet er en enklere model, der fungerer mere pålideligt på nye, usete data, selv om den scorer lidt lavere på træningsdataene.
Overfitting opstår, når en model lærer træningsdataene udenad, inklusive tilfældige særheder og støj, i stedet for at fange generelt gyldige mønstre. Den virker så meget nøjagtig på kendte data, men klarer sig dårligt på nye data. En stor forskel mellem trænings- og testfejl er et typisk tegn. Modforanstaltninger er flere eller mere varierede data, enklere modeller, regularisering, dropout og krydsvalidering.
Dropout er en regulariseringsteknik, der bruges ved træning af neurale netværk: I hvert træningstrin slås en tilfældig andel af neuronerne midlertidigt fra. Det forhindrer netværket i at støtte sig til enkelte forbindelser, så det lærer mere robuste mønstre. Det reducerer overfitting, dvs. at modellen blot lærer træningsdataene udenad. Når den færdige model senere bruges, er alle neuroner aktive igen.
Generaliseringsfejlen måler, hvor meget en AI-model rammer ved siden af på nye, tidligere usete data – i modsætning til dens fejl på træningsdataene. Et stort gab mellem de to peger på overfitting: Modellen har lært eksempler udenad i stedet for at lære generelle mønstre. Den estimeres med tilbageholdte testdata eller krydsvalidering. Det er det tal, der virkelig tæller, fordi en model i praksis næsten kun møder nye tilfælde.
Underfitting opstår, når en model er for enkel til at fange sammenhængene i dataene. Den laver så mange fejl både på træningsdataene og på nye data, f.eks. når en ret linje bruges til at gengive et tydeligt kurvet mønster. Afhjælpning er en kraftigere model, mere informative features, længere træning eller mindre regularisering; det modsatte problem er overfitting.
