Dropout is een regularisatietechniek bij het trainen van neurale netwerken: in elke trainingsstap wordt een willekeurig deel van de neuronen tijdelijk uitgeschakeld. Dit voorkomt dat het netwerk op afzonderlijke verbindingen gaat leunen, zodat het robuustere patronen leert. Het vermindert overfitting, dat wil zeggen het louter uit het hoofd leren van de trainingsdata. Wanneer het voltooide model later wordt gebruikt, zijn alle neuronen weer actief.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenOverfitting treedt op wanneer een model de trainingsgegevens uit het hoofd leert, inclusief toevallige eigenaardigheden en ruis, in plaats van algemeen geldende patronen vast te leggen. Het lijkt dan zeer nauwkeurig op bekende gegevens, maar presteert slecht op nieuwe gegevens. Een groot verschil tussen trainings- en testfout is een typisch teken. Tegenmaatregelen zijn meer of gevarieerdere gegevens, eenvoudigere modellen, regularisatie, dropout en kruisvalidatie.
Regularisatie omvat technieken die voorkomen dat een model zich tijdens het trainen te sterk aan de trainingsgegevens aanpast (overfitting). Voorbeelden zijn het bestraffen van grote gewichten (L1- of L2-regularisatie), het willekeurig uitschakelen van neuronen (dropout) of het op het juiste moment stoppen met trainen (early stopping). Het doel is een eenvoudiger model dat betrouwbaarder presteert op nieuwe, onbekende gegevens, ook als het op de trainingsgegevens iets lager scoort.
Kunstmatige neurale netwerken (ANN’s) zijn rekenmodellen die bestaan uit veel verbonden eenheden (“neuronen”) die in lagen zijn geordend en invoer verwerken via gewogen verbindingen. Tijdens het trainen worden de gewichten stap voor stap aangepast aan de hand van voorbeelden, meestal via backpropagation. ANN’s vormen de basis van deep learning en drijven beeldherkenning, spraakherkenning en grote taalmodellen aan. Ondanks hun biologische inspiratie werken ze veel eenvoudiger dan het menselijk brein.
Batchnormalisatie is een techniek voor het trainen van diepe neurale netwerken die de tussenwaarden van een laag per batch data herschaalt naar een consistent gemiddelde en een consistente spreiding. Daardoor wordt de training stabieler en vaak sneller, en wordt het netwerk minder gevoelig voor zijn beginwaarden. De techniek werd in 2015 geïntroduceerd en is gangbaar in netwerken voor beeldherkenning; transformers gebruiken meestal de verwante laagnormalisatie.
