Djupinlärning är en gren av maskininlärningen som använder artificiella neurala nätverk med många lager. Sådana nätverk lär sig av stora datamängder vilka egenskaper som är viktiga – från kanter i bilder till betydelsesamband i texter. Djupinlärning ligger till grund för dagens språkmodeller, bild- och taligenkänning samt maskinöversättning och kräver vanligtvis stor beräkningskraft och mycket träningsdata.
Artificiella neurala nätverk (ANN) är beräkningsmodeller som består av många sammankopplade enheter (”neuroner”) ordnade i lager som bearbetar indata via viktade förbindelser. Under träningen justeras vikterna steg för steg med hjälp av exempel, vanligtvis genom backpropagation. ANN är grunden för djupinlärning och driver bildigenkänning, taligenkänning och stora språkmodeller. Trots sin biologiska inspiration fungerar de betydligt enklare än den mänskliga hjärnan.
Maskininlärning är en gren av artificiell intelligens där datorer härleder mönster ur data i stället för att varje regel programmeras explicit. Beroende på uppgift lär sig modellerna av annoterade exempel (övervakad inlärning), av oannoterade data (oövervakad inlärning) eller genom belöningar (förstärkningsinlärning). Tillämpningarna sträcker sig från skräppostfilter och efterfrågeprognoser till produktrekommendationer. Kvaliteten beror starkt på mängden och kvaliteten på träningsdata.
Ett faltningsnätverk (convolutional neural network, CNN) är en arkitektur för neurala nätverk som är särskilt lämpad för bilddata. Det skannar indata med små filter och upptäcker enkla drag som kanter i de första lagren och mer komplexa former i djupare lager. CNN:er präglade bildigenkänningen i många år och används till exempel för att hitta defekter i produktfoton eller vid medicinsk bildanalys.
Transformern är en arkitektur för neurala nätverk som introducerades 2017 i forskningsartikeln ”Attention Is All You Need”. I kärnan finns uppmärksamhetsmekanismen: varje ord vägs i förhållande till alla andra ord i en text, och beräkningen kan parallelliseras effektivt. Transformers ligger till grund för dagens språkmodeller som GPT, Claude och BERT och används också för bilder och ljud.
