Woordenlijst

Regularisatie

Wat is Regularisatie?

Regularisatie omvat technieken die voorkomen dat een model zich tijdens het trainen te sterk aan de trainingsgegevens aanpast (overfitting). Voorbeelden zijn het bestraffen van grote gewichten (L1- of L2-regularisatie), het willekeurig uitschakelen van neuronen (dropout) of het op het juiste moment stoppen met trainen (early stopping). Het doel is een eenvoudiger model dat betrouwbaarder presteert op nieuwe, onbekende gegevens, ook als het op de trainingsgegevens iets lager scoort.

Onderwerpen

training
overfitting
modelkwaliteit

KI.ordo uitproberen

Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.

Demo starten

← Alle begrippen

Verwante begrippen

Overfitting

Overfitting treedt op wanneer een model de trainingsgegevens uit het hoofd leert, inclusief toevallige eigenaardigheden en ruis, in plaats van algemeen geldende patronen vast te leggen. Het lijkt dan zeer nauwkeurig op bekende gegevens, maar presteert slecht op nieuwe gegevens. Een groot verschil tussen trainings- en testfout is een typisch teken. Tegenmaatregelen zijn meer of gevarieerdere gegevens, eenvoudigere modellen, regularisatie, dropout en kruisvalidatie.

modelkwaliteit
training
+1

Dropout

Dropout is een regularisatietechniek bij het trainen van neurale netwerken: in elke trainingsstap wordt een willekeurig deel van de neuronen tijdelijk uitgeschakeld. Dit voorkomt dat het netwerk op afzonderlijke verbindingen gaat leunen, zodat het robuustere patronen leert. Het vermindert overfitting, dat wil zeggen het louter uit het hoofd leren van de trainingsdata. Wanneer het voltooide model later wordt gebruikt, zijn alle neuronen weer actief.

training
regularisatie
+1

Generalisatiefout

De generalisatiefout meet hoever een AI-model ernaast zit bij nieuwe, nog niet eerder geziene data – in tegenstelling tot de fout op de trainingsdata. Een groot verschil tussen beide wijst op overfitting: het model heeft voorbeelden uit het hoofd geleerd in plaats van algemene patronen. Ze wordt geschat met achtergehouden testdata of kruisvalidatie. Het is het cijfer dat er echt toe doet, omdat een model in de praktijk bijna alleen nieuwe gevallen tegenkomt.

Machine learning
Modelevaluatie
+1

Underfitting

Underfitting treedt op wanneer een model te eenvoudig is om de verbanden in de gegevens vast te leggen. Het maakt dan veel fouten, zowel op de trainingsgegevens als op nieuwe gegevens, bijvoorbeeld wanneer een rechte lijn wordt gebruikt voor een duidelijk gebogen patroon. Remedies zijn een krachtiger model, informatievere features, langer trainen of minder regularisatie; het omgekeerde probleem is overfitting.

Machine learning
Modelkwaliteit
+1