BERT (Bidirectional Encoder Representations from Transformers) on Google’i poolt 2018. aastal tutvustatud keelemudel. Erinevalt varasematest mudelitest arvestab see korraga sõnast vasakul ja paremal olevat konteksti, mis aitab tal mitmetähenduslikkust lahendada. BERT on mõeldud teksti mõistmiseks, mitte pikemate lõikude kirjutamiseks. Seda kasutatakse otsingus, teksti liigitamisel, nimeolemite tuvastamisel ja küsimustele vastamisel ning see on mõjutanud paljusid järglasmudeleid.
Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.
Loomuliku keele mõistmine on keeletöötluse osa, mis haarab väljendi tähenduse: milline kavatsus selle taga on, milliseid inimesi, kohti või kuupäevi mainitakse ja milline on toon? Koos loomuliku keele genereerimisega (NLG) moodustab NLU ühe NLP kahest poolest. Näide on klienditeenindussüsteem, mis tuvastab lause „Mu pakk ei ole veel kohale jõudnud“ tarnepäringuna.
Sõnaembeddingud esitavad sõnu arvuvektoritena nii, et sarnase tähendusega sõnad asuvad vektorruumis lähestikku, näiteks „auto“ ja „sõiduk“. Meetodid nagu Word2Vec või GloVe õpivad need vektorid suurtest tekstihulkadest. Need olid keeletöötluses oluline samm, näiteks otsingu või klassifitseerimise jaoks; tänapäeva keelemudelid kasutavad kontekstipõhiseid embeddinguid, kus sõna esitatakse sõltuvalt lausest erinevalt.
GPT (generative pre-trained transformer) tähistab OpenAI välja töötatud suurte keelemudelite seeriat, mis põhineb transformeri arhitektuuril. Mudeleid eeltreenitakse esmalt tohutute tekstihulkadega, et ennustada järgmist tokenit, ning seejärel treenitakse edasi dialoogiks ja juhiste järgimiseks. Esimene GPT-mudel ilmus 2018. aastal; hilisemad põlvkonnad on ChatGPT aluseks. Igapäevakõnes kasutatakse „GPT“ sageli keelemudelite kohta üldiselt.
