Backpropagation is de standaardmethode waarmee neurale netwerken leren. Na elke voorspelling wordt de fout gemeten en achterwaarts door de lagen van het netwerk doorgegeven, zodat zichtbaar wordt hoeveel elk gewicht eraan heeft bijgedragen. Een optimalisatiemethode zoals gradient descent past de gewichten vervolgens stap voor stap aan. Zonder backpropagation zou het trainen van de huidige taal- en beeldmodellen praktisch onmogelijk zijn.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenGradiëntdaling is de optimalisatiemethode waarmee de meeste AI-modellen worden getraind. U meet hoe groot de fout van het model is, berekent in welke richting de parameters moeten veranderen om die te verkleinen en zet dan een kleine stap in die richting – steeds opnieuw. Het is als een wandelaar in de mist die steeds bergafwaarts blijft lopen om het dal te bereiken. De stapgrootte (leersnelheid) bepaalt snelheid en stabiliteit.
Kunstmatige neurale netwerken (ANN’s) zijn rekenmodellen die bestaan uit veel verbonden eenheden (“neuronen”) die in lagen zijn geordend en invoer verwerken via gewogen verbindingen. Tijdens het trainen worden de gewichten stap voor stap aangepast aan de hand van voorbeelden, meestal via backpropagation. ANN’s vormen de basis van deep learning en drijven beeldherkenning, spraakherkenning en grote taalmodellen aan. Ondanks hun biologische inspiratie werken ze veel eenvoudiger dan het menselijk brein.
Activeringsfuncties bepalen hoe sterk een neuron in een kunstmatig neuraal netwerk zijn signaal doorgeeft. Ze brengen non-lineariteit aan – pas daardoor kan het netwerk complexe verbanden zoals taal of beelden weergeven. Bekende voorbeelden zijn ReLU, dat negatieve waarden op nul zet, sigmoid voor kansen tussen 0 en 1, en GELU, dat in veel transformermodellen wordt gebruikt. De keuze beïnvloedt de snelheid en stabiliteit van de training.
Kruisentropie is een maat uit de informatietheorie die aangeeft hoeveel een voorspelde kansverdeling afwijkt van de werkelijke. Bij machine learning is het de meest gebruikte verliesfunctie voor classificatietaken en ook voor taalmodellen die het volgende token voorspellen. Ze straft zelfverzekerde foute voorspellingen bijzonder zwaar: 99% toekennen aan de verkeerde klasse geeft een veel hoger verlies dan 60%.
