BERT (Bidirectional Encoder Representations from Transformers) – 2018 m. Google pristatytas kalbos modelis. Skirtingai nei ankstesni modeliai, jis vienu metu atsižvelgia į kontekstą žodžio kairėje ir dešinėje, todėl lengviau išsprendžia daugiaprasmiškumą. BERT skirtas tekstui suprasti, o ne ilgesniems tekstams rašyti. Jis naudojamas paieškai, teksto klasifikavimui, įvardytųjų esybių atpažinimui ir atsakymams į klausimus bei padarė įtaką daugeliui vėlesnių modelių.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąTransformeris – neuroninio tinklo architektūra, pristatyta 2017 m. moksliniame straipsnyje „Attention Is All You Need“. Jos esmė – dėmesio mechanizmas: kiekvienas teksto žodis įvertinamas atsižvelgiant į visus kitus žodžius, o skaičiavimus galima efektyviai lygiagretinti. Transformeriais remiasi šiandienos kalbos modeliai, tokie kaip GPT, Claude ir BERT, jie taip pat naudojami vaizdams ir garsui.
Natūralios kalbos supratimas – kalbos apdorojimo dalis, fiksuojanti pasakymo prasmę: koks kėslas už jo slypi, kokie asmenys, vietos ar datos minimi ir koks yra tonas? Kartu su natūralios kalbos generavimu (NLG) NLU sudaro vieną iš dviejų NLP pusių. Vienas pavyzdys – klientų aptarnavimo sistema, atpažįstanti „Mano siuntinys vis dar neatkeliavo“ kaip užklausą dėl pristatymo.
Žodžių įterpiniai pateikia žodžius kaip skaitinius vektorius, kad panašios prasmės žodžiai vektorių erdvėje būtų arti vienas kito, pavyzdžiui, „automobilis“ ir „transporto priemonė“. Tokie metodai kaip Word2Vec ar GloVe šiuos vektorius išmoksta iš didelių tekstų kiekių. Jie buvo svarbus žingsnis kalbos apdorojime, pavyzdžiui, paieškai ar klasifikavimui; šiandienos kalbos modeliai naudoja kontekstinius įterpinius, kuriuose žodis pateikiamas skirtingai, priklausomai nuo sakinio.
GPT (angl. generative pre-trained transformer) žymi „OpenAI“ sukurtą didelių kalbos modelių seriją, grindžiamą transformerio architektūra. Modeliai pirmiausia iš anksto apmokomi su milžiniškais teksto kiekiais, kad nuspėtų kitą tokeną, o paskui toliau mokomi dialogo ir nurodymų vykdymo. Pirmasis GPT modelis pasirodė 2018 m.; vėlesnės kartos yra „ChatGPT“ pagrindas. Šnekamojoje kalboje „GPT“ dažnai vadinami apskritai kalbos modeliai.
