Backpropagation är standardmetoden för hur neurala nätverk lär sig. Efter varje förutsägelse mäts felet och sprids bakåt genom nätverkets lager, vilket visar hur mycket varje vikt bidrog till det. En optimeringsmetod som gradientnedstigning justerar sedan vikterna steg för steg. Utan backpropagation vore det i praktiken omöjligt att träna dagens språk- och bildmodeller.
Gradientnedstigning är den optimeringsmetod som används för att träna de flesta AI-modeller. Man mäter hur stort modellens fel är, beräknar i vilken riktning parametrarna måste ändras för att minska det och tar sedan ett litet steg i den riktningen – om och om igen. Det är som en vandrare i dimma som hela tiden går nedför för att nå dalen. Stegstorleken (inlärningshastigheten) avgör fart och stabilitet.
Artificiella neurala nätverk (ANN) är beräkningsmodeller som består av många sammankopplade enheter (”neuroner”) ordnade i lager som bearbetar indata via viktade förbindelser. Under träningen justeras vikterna steg för steg med hjälp av exempel, vanligtvis genom backpropagation. ANN är grunden för djupinlärning och driver bildigenkänning, taligenkänning och stora språkmodeller. Trots sin biologiska inspiration fungerar de betydligt enklare än den mänskliga hjärnan.
Aktiveringsfunktioner avgör hur starkt en neuron i ett artificiellt neuralt nätverk skickar vidare sin signal. De tillför icke-linjäritet – först då kan nätverket återge komplexa samband som språk eller bilder. Vanliga exempel är ReLU, som sätter negativa värden till noll, sigmoid för sannolikheter mellan 0 och 1, och GELU, som används i många transformermodeller. Valet påverkar träningens hastighet och stabilitet.
Korsentropi är ett mått från informationsteorin som anger hur långt en förutsagd sannolikhetsfördelning avviker från den faktiska. Inom maskininlärning är det den vanligaste förlustfunktionen för klassificeringsuppgifter och även för språkmodeller som förutsäger nästa token. Den straffar särskilt hårt säkra felaktiga förutsägelser: att tilldela 99 % till fel klass ger en mycket högre förlust än att tilldela 60 %.
