Krydsvalidering er en metode til at kontrollere, hvor godt en model generaliserer til nye, usete data. Ved k-fold-krydsvalidering deles data i k dele; modellen trænes k gange på k−1 dele og testes hver gang på den resterende del, hvorefter resultaterne gennemsnitsberegnes. Det hjælper med at opdage overfitting og sammenligne modeller eller indstillinger fair, især når der er få data.
Overfitting opstår, når en model lærer træningsdataene udenad, inklusive tilfældige særheder og støj, i stedet for at fange generelt gyldige mønstre. Den virker så meget nøjagtig på kendte data, men klarer sig dårligt på nye data. En stor forskel mellem trænings- og testfejl er et typisk tegn. Modforanstaltninger er flere eller mere varierede data, enklere modeller, regularisering, dropout og krydsvalidering.
Generaliseringsfejlen måler, hvor meget en AI-model rammer ved siden af på nye, tidligere usete data – i modsætning til dens fejl på træningsdataene. Et stort gab mellem de to peger på overfitting: Modellen har lært eksempler udenad i stedet for at lære generelle mønstre. Den estimeres med tilbageholdte testdata eller krydsvalidering. Det er det tal, der virkelig tæller, fordi en model i praksis næsten kun møder nye tilfælde.
Hyperparametre er indstillinger, der fastlægges, før en model trænes, f.eks. læringsraten, antallet af lag eller regulariseringens styrke. Hyperparameteroptimering søger systematisk efter den kombination, der klarer sig bedst på valideringsdata, f.eks. gennem grid search, random search eller bayesiansk optimering. Velvalgte værdier forbedrer nøjagtigheden og mindsker over- eller underfitting, men søgningen koster regnetid.
Træningsdata er de eksempler, som en AI-model lærer mønstre af: store tekstsamlinger til sprogmodeller, mærkede billeder til billedmodeller. Deres kvalitet, mangfoldighed og aktualitet er i høj grad afgørende for, hvor pålidelig og fair en model er, og hvor opdateret dens viden bliver. For organisationer er det også vigtigt, om en udbyder bruger de kundedata, der indtastes, til yderligere træning.
