BERT (Bidirectional Encoder Representations from Transformers) ir valodas modelis, ko Google ieviesa 2018. gadā. Atšķirībā no agrākiem modeļiem tas vienlaikus ņem vērā kontekstu pa kreisi un pa labi no vārda, kas palīdz novērst divdomību. BERT ir paredzēts teksta izpratnei, nevis garāku fragmentu rakstīšanai. To izmanto meklēšanā, teksta klasifikācijā, nosaukto entītiju atpazīšanā un atbildēšanā uz jautājumiem, un tas ir ietekmējis daudzus pēctečmodeļus.
Transformers ir neironu tīklu arhitektūra, kas ieviesta 2017. gadā pētījumā „Attention Is All You Need”. Tās kodols ir uzmanības mehānisms: katrs vārds tiek svērts attiecībā pret visiem pārējiem teksta vārdiem, un aprēķinu var efektīvi paralelizēt. Transformeri ir mūsdienu valodas modeļu, piemēram, GPT, Claude un BERT, pamatā, un tos izmanto arī attēliem un audio.
Dabiskās valodas izpratne ir valodas apstrādes daļa, kas uztver izteikuma nozīmi: kāds nodoms tam aiz muguras, kuras personas, vietas vai datumi tiek minēti un kāds ir tonis. Kopā ar dabiskās valodas ģenerēšanu (NLG) NLU veido vienu no divām NLP pusēm. Piemērs ir klientu apkalpošanas sistēma, kas atpazīst „Mana sūtījuma joprojām nav” kā pieprasījumu par piegādi.
Vārdu iegultnes attēlo vārdus kā skaitliskus vektorus, lai vārdi ar līdzīgu nozīmi atrastos tuvu viens otram vektoru telpā, piemēram, „automašīna” un „transportlīdzeklis”. Metodes, piemēram, Word2Vec vai GloVe, šos vektorus apgūst no liela teksta apjoma. Tās bija svarīgs solis valodas apstrādē, piemēram, meklēšanai vai klasifikācijai; mūsdienu valodas modeļi izmanto kontekstuālās iegultnes, kurās vārds tiek attēlots atšķirīgi atkarībā no teikuma.
GPT (generative pre-trained transformer) apzīmē OpenAI izstrādātu lielo valodas modeļu sēriju, kas balstīta uz transformera arhitektūru. Modeļus vispirms iepriekš apmāca ar milzīgiem teksta apjomiem, lai tie prognozētu nākamo tokenu, un pēc tam tālāk apmāca dialogam un norādījumu izpildei. Pirmais GPT modelis parādījās 2018. gadā; vēlākās paaudzes ir ChatGPT pamatā. Ikdienas runā „GPT” bieži lieto valodas modeļiem kopumā.
