Süvaõpe on masinõppe haru, mis kasutab paljude kihtidega tehisnärvivõrke. Sellised võrgud õpivad suurtest andmehulkadest ise, millised tunnused on olulised – piltidel servadest, tekstides tähenduslike seosteni. Süvaõpe on tänapäevaste keelemudelite, pildituvastuse, kõnetuvastuse ja masintõlke aluseks ning vajab tavaliselt märkimisväärset arvutusvõimsust ja treeningandmeid.
Tehisnärvivõrgud (artificial neural networks, ANN) on arvutusmudelid, mis koosnevad paljudest ühendatud üksustest („neuronitest“), mis on paigutatud kihtidesse ja töötlevad sisendeid kaalutud ühenduste kaudu. Treenimise käigus kohandatakse kaalusid samm-sammult näidete põhjal, tavaliselt tagasilevi (backpropagation) abil. ANN-id on süvaõppe alus ja annavad jõudu pildituvastusele, kõnetuvastusele ning suurtele keelemudelitele. Hoolimata bioloogilisest eeskujust töötavad need palju lihtsamalt kui inimese aju.
Masinõpe on tehisintellekti haru, kus arvutid tuletavad andmetest mustreid, selle asemel et iga reegel oleks selgesõnaliselt programmeeritud. Olenevalt ülesandest õpivad mudelid märgendatud näidetest (juhendatud), märgendamata andmetest (juhendamata) või preemiate kaudu (tugevdusõpe). Rakendused ulatuvad rämpsposti filtritest ja nõudluse prognoosidest tootesoovitusteni. Kvaliteet sõltub suuresti treeningandmete hulgast ja kvaliteedist.
Konvolutsiooniline närvivõrk (CNN) on närvivõrgu arhitektuur, mis sobib eriti hästi pildiandmete jaoks. See skaneerib sisendit väikeste filtritega, tuvastades esimestes kihtides lihtsaid tunnuseid, nagu servad, ja sügavamates kihtides keerukamaid kujundeid. CNN-id kujundasid pildituvastust palju aastaid ja neid kasutatakse näiteks defektide leidmiseks tootefotodel või meditsiinilises pildianalüüsis.
Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.
