Aktiveringsfunktioner avgör hur starkt en neuron i ett artificiellt neuralt nätverk skickar vidare sin signal. De tillför icke-linjäritet – först då kan nätverket återge komplexa samband som språk eller bilder. Vanliga exempel är ReLU, som sätter negativa värden till noll, sigmoid för sannolikheter mellan 0 och 1, och GELU, som används i många transformermodeller. Valet påverkar träningens hastighet och stabilitet.
Artificiella neurala nätverk (ANN) är beräkningsmodeller som består av många sammankopplade enheter (”neuroner”) ordnade i lager som bearbetar indata via viktade förbindelser. Under träningen justeras vikterna steg för steg med hjälp av exempel, vanligtvis genom backpropagation. ANN är grunden för djupinlärning och driver bildigenkänning, taligenkänning och stora språkmodeller. Trots sin biologiska inspiration fungerar de betydligt enklare än den mänskliga hjärnan.
Backpropagation är standardmetoden för hur neurala nätverk lär sig. Efter varje förutsägelse mäts felet och sprids bakåt genom nätverkets lager, vilket visar hur mycket varje vikt bidrog till det. En optimeringsmetod som gradientnedstigning justerar sedan vikterna steg för steg. Utan backpropagation vore det i praktiken omöjligt att träna dagens språk- och bildmodeller.
Djupinlärning är en gren av maskininlärningen som använder artificiella neurala nätverk med många lager. Sådana nätverk lär sig av stora datamängder vilka egenskaper som är viktiga – från kanter i bilder till betydelsesamband i texter. Djupinlärning ligger till grund för dagens språkmodeller, bild- och taligenkänning samt maskinöversättning och kräver vanligtvis stor beräkningskraft och mycket träningsdata.
