Aktiveringsfunktioner bestemmer, hvor kraftigt en neuron i et kunstigt neuralt netværk sender sit signal videre. De tilføjer ikke-linearitet – først da kan netværket gengive komplekse sammenhænge som sprog eller billeder. Almindelige eksempler er ReLU, der sætter negative værdier til nul, sigmoid til sandsynligheder mellem 0 og 1 og GELU, der bruges i mange transformermodeller. Valget påvirker træningens hastighed og stabilitet.
Kunstige neurale netværk (ANN'er) er beregningsmodeller bestående af mange forbundne enheder (»neuroner«) arrangeret i lag, som behandler input via vægtede forbindelser. Under træning justeres vægtene trin for trin ud fra eksempler, som regel ved backpropagation. ANN'er er fundamentet for deep learning og driver billedgenkendelse, talegenkendelse og store sprogmodeller. På trods af den biologiske inspiration fungerer de langt mere enkelt end den menneskelige hjerne.
Backpropagation er standardmetoden, som neurale netværk lærer med. Efter hver forudsigelse måles fejlen og sendes baglæns gennem netværkets lag, så det fremgår, hvor meget hver vægt har bidraget til den. En optimeringsmetode som gradient descent justerer derefter vægtene trin for trin. Uden backpropagation ville det i praksis være umuligt at træne nutidens sprog- og billedmodeller.
Deep learning er en gren af maskinlæring, der bruger kunstige neurale netværk med mange lag. Sådanne netværk lærer ud fra store datamængder, hvilke træk der er vigtige – fra kanter i billeder til betydningsrelationer i tekster. Deep learning ligger til grund for nutidens sprogmodeller, billed- og talegenkendelse og maskinoversættelse og kræver som regel betydelig regnekraft og mange træningsdata.
