Activeringsfuncties bepalen hoe sterk een neuron in een kunstmatig neuraal netwerk zijn signaal doorgeeft. Ze brengen non-lineariteit aan – pas daardoor kan het netwerk complexe verbanden zoals taal of beelden weergeven. Bekende voorbeelden zijn ReLU, dat negatieve waarden op nul zet, sigmoid voor kansen tussen 0 en 1, en GELU, dat in veel transformermodellen wordt gebruikt. De keuze beïnvloedt de snelheid en stabiliteit van de training.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenKunstmatige neurale netwerken (ANN’s) zijn rekenmodellen die bestaan uit veel verbonden eenheden (“neuronen”) die in lagen zijn geordend en invoer verwerken via gewogen verbindingen. Tijdens het trainen worden de gewichten stap voor stap aangepast aan de hand van voorbeelden, meestal via backpropagation. ANN’s vormen de basis van deep learning en drijven beeldherkenning, spraakherkenning en grote taalmodellen aan. Ondanks hun biologische inspiratie werken ze veel eenvoudiger dan het menselijk brein.
Backpropagation is de standaardmethode waarmee neurale netwerken leren. Na elke voorspelling wordt de fout gemeten en achterwaarts door de lagen van het netwerk doorgegeven, zodat zichtbaar wordt hoeveel elk gewicht eraan heeft bijgedragen. Een optimalisatiemethode zoals gradient descent past de gewichten vervolgens stap voor stap aan. Zonder backpropagation zou het trainen van de huidige taal- en beeldmodellen praktisch onmogelijk zijn.
Deep learning is een tak van machine learning die kunstmatige neurale netwerken met veel lagen gebruikt. Zulke netwerken leren uit grote hoeveelheden data welke kenmerken van belang zijn – van randen in beelden tot betekenisrelaties in teksten. Deep learning vormt de basis van de huidige taalmodellen, beeld- en spraakherkenning en machinevertaling en vergt doorgaans veel rekenkracht en trainingsdata.
