BERT (Bidirectional Encoder Representations from Transformers) je jazykový model, ktorý Google predstavil v roku 2018. Na rozdiel od starších modelov zohľadňuje súčasne kontext naľavo aj napravo od slova, čo mu pomáha riešiť viacznačnosť. BERT je určený na porozumenie textu, nie na písanie dlhších pasáží. Využíva sa vo vyhľadávaní, klasifikácii textu, rozpoznávaní pomenovaných entít a odpovedaní na otázky a ovplyvnil mnohé nasledujúce modely.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoTransformer je architektúra neurónových sietí, ktorá bola predstavená v roku 2017 vo výskumnej práci „Attention Is All You Need“. Jej jadrom je mechanizmus pozornosti: každé slovo sa váži vo vzťahu ku všetkým ostatným slovám v texte a výpočet sa dá efektívne paralelizovať. Transformery tvoria základ dnešných jazykových modelov, ako sú GPT, Claude a BERT, a používajú sa aj pri obrázkoch a zvuku.
Porozumenie prirodzenému jazyku je časť spracovania jazyka, ktorá zachytáva význam výpovede: aký zámer za ňou stojí, aké osoby, miesta alebo dátumy sa spomínajú a aký je jej tón? Spolu s generovaním prirodzeného jazyka (NLG) tvorí NLU jednu z dvoch strán NLP. Príkladom je systém zákazníckeho servisu, ktorý vetu „Môj balík ešte nedorazil“ rozpozná ako dopyt na doručenie.
Word embeddings reprezentujú slová ako číselné vektory tak, aby slová s podobným významom ležali vo vektorovom priestore blízko seba, napríklad „auto“ a „vozidlo“. Metódy ako Word2Vec alebo GloVe sa tieto vektory učia z veľkého množstva textu. Boli dôležitým krokom v spracovaní jazyka, napríklad pri vyhľadávaní alebo klasifikácii; dnešné jazykové modely používajú kontextové embeddingy, v ktorých je slovo reprezentované inak podľa vety.
GPT (generative pre-trained transformer) označuje sériu veľkých jazykových modelov vyvinutých spoločnosťou OpenAI, ktoré vychádzajú z architektúry transformer. Modely sa najprv predtrénujú na obrovskom množstve textu, aby predpovedali nasledujúci token, a potom sa ďalej trénujú na dialóg a plnenie pokynov. Prvý model GPT vyšiel v roku 2018; neskoršie generácie tvoria základ ChatGPT. V bežnej reči sa „GPT“ často používa pre jazykové modely vo všeobecnosti.
