Kruisvalidatie is een methode om te controleren hoe goed een model generaliseert naar nieuwe, onbekende data. Bij k-voudige kruisvalidatie wordt de data in k delen gesplitst; het model wordt k keer getraind op k−1 delen en telkens getest op het resterende deel, waarna de resultaten worden gemiddeld. Dit helpt overfitting op te sporen en modellen of instellingen eerlijk te vergelijken, vooral wanneer weinig data beschikbaar is.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenOverfitting treedt op wanneer een model de trainingsgegevens uit het hoofd leert, inclusief toevallige eigenaardigheden en ruis, in plaats van algemeen geldende patronen vast te leggen. Het lijkt dan zeer nauwkeurig op bekende gegevens, maar presteert slecht op nieuwe gegevens. Een groot verschil tussen trainings- en testfout is een typisch teken. Tegenmaatregelen zijn meer of gevarieerdere gegevens, eenvoudigere modellen, regularisatie, dropout en kruisvalidatie.
De generalisatiefout meet hoever een AI-model ernaast zit bij nieuwe, nog niet eerder geziene data – in tegenstelling tot de fout op de trainingsdata. Een groot verschil tussen beide wijst op overfitting: het model heeft voorbeelden uit het hoofd geleerd in plaats van algemene patronen. Ze wordt geschat met achtergehouden testdata of kruisvalidatie. Het is het cijfer dat er echt toe doet, omdat een model in de praktijk bijna alleen nieuwe gevallen tegenkomt.
Hyperparameters zijn instellingen die vóór het trainen van een model worden vastgelegd, zoals de leersnelheid, het aantal lagen of de sterkte van de regularisatie. Hyperparameteroptimalisatie zoekt systematisch de combinatie die het best presteert op validatiedata, bijvoorbeeld via grid search, random search of bayesiaanse optimalisatie. Goed gekozen waarden verbeteren de nauwkeurigheid en verminderen over- of underfitting, maar het zoeken kost rekentijd.
Trainingsgegevens zijn de voorbeelden waaruit een AI-model patronen leert: grote tekstverzamelingen voor taalmodellen, gelabelde afbeeldingen voor beeldmodellen. Hun kwaliteit, diversiteit en actualiteit bepalen grotendeels hoe betrouwbaar en eerlijk een model is en hoe actueel zijn kennis zal zijn. Voor organisaties is ook van belang of een aanbieder de klantgegevens die zij invoeren voor verdere training gebruikt.
