Batchnormalisatie is een techniek voor het trainen van diepe neurale netwerken die de tussenwaarden van een laag per batch data herschaalt naar een consistent gemiddelde en een consistente spreiding. Daardoor wordt de training stabieler en vaak sneller, en wordt het netwerk minder gevoelig voor zijn beginwaarden. De techniek werd in 2015 geïntroduceerd en is gangbaar in netwerken voor beeldherkenning; transformers gebruiken meestal de verwante laagnormalisatie.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenDeep learning is een tak van machine learning die kunstmatige neurale netwerken met veel lagen gebruikt. Zulke netwerken leren uit grote hoeveelheden data welke kenmerken van belang zijn – van randen in beelden tot betekenisrelaties in teksten. Deep learning vormt de basis van de huidige taalmodellen, beeld- en spraakherkenning en machinevertaling en vergt doorgaans veel rekenkracht en trainingsdata.
Dropout is een regularisatietechniek bij het trainen van neurale netwerken: in elke trainingsstap wordt een willekeurig deel van de neuronen tijdelijk uitgeschakeld. Dit voorkomt dat het netwerk op afzonderlijke verbindingen gaat leunen, zodat het robuustere patronen leert. Het vermindert overfitting, dat wil zeggen het louter uit het hoofd leren van de trainingsdata. Wanneer het voltooide model later wordt gebruikt, zijn alle neuronen weer actief.
Regularisatie omvat technieken die voorkomen dat een model zich tijdens het trainen te sterk aan de trainingsgegevens aanpast (overfitting). Voorbeelden zijn het bestraffen van grote gewichten (L1- of L2-regularisatie), het willekeurig uitschakelen van neuronen (dropout) of het op het juiste moment stoppen met trainen (early stopping). Het doel is een eenvoudiger model dat betrouwbaarder presteert op nieuwe, onbekende gegevens, ook als het op de trainingsgegevens iets lager scoort.
Gradiëntdaling is de optimalisatiemethode waarmee de meeste AI-modellen worden getraind. U meet hoe groot de fout van het model is, berekent in welke richting de parameters moeten veranderen om die te verkleinen en zet dan een kleine stap in die richting – steeds opnieuw. Het is als een wandelaar in de mist die steeds bergafwaarts blijft lopen om het dal te bereiken. De stapgrootte (leersnelheid) bepaalt snelheid en stabiliteit.
