BERT (Bidirectional Encoder Representations from Transformers) je jezikovni model, ki ga je Google predstavil leta 2018. Za razliko od starejših modelov hkrati upošteva kontekst levo in desno od besede, kar mu pomaga razrešiti dvoumnosti. BERT je zasnovan za razumevanje besedil, ne za pisanje daljših odlomkov. Uporablja se za iskanje, razvrščanje besedil, prepoznavanje imenskih entitet in odgovarjanje na vprašanja ter je oblikoval številne naslednike.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevTransformer je arhitektura nevronskih mrež, predstavljena leta 2017 v raziskovalnem članku „Attention Is All You Need“. Jedro je mehanizem pozornosti: vsaka beseda se pretehta glede na vse druge besede v besedilu, izračun pa je mogoče učinkovito vzporediti. Transformerji so podlaga današnjih jezikovnih modelov, kot so GPT, Claude in BERT, uporabljajo pa se tudi za slike in zvok.
Razumevanje naravnega jezika je del obdelave jezika, ki zajame pomen izjave: kakšen namen stoji za njo, katere osebe, kraji ali datumi so omenjeni in kakšen je ton. Skupaj z generiranjem naravnega jezika (NLG) NLU tvori eno od dveh strani NLP. Primer je sistem za podporo strankam, ki „Moj paket še vedno ni prispel“ prepozna kot povpraševanje o dostavi.
Vložitve besed predstavljajo besede kot številske vektorje, tako da besede s podobnim pomenom ležijo blizu skupaj v vektorskem prostoru, na primer „avto“ in „vozilo“. Metode, kot sta Word2Vec ali GloVe, te vektorje naučijo iz velikih količin besedila. Bile so pomemben korak v obdelavi jezika, na primer za iskanje ali razvrščanje; današnji jezikovni modeli uporabljajo kontekstualne vložitve, pri katerih je beseda predstavljena drugače glede na stavek.
GPT (generative pre-trained transformer) označuje serijo velikih jezikovnih modelov podjetja OpenAI, ki temeljijo na arhitekturi transformer. Modeli se najprej predhodno učijo na ogromnih količinah besedil, da napovedujejo naslednji token, nato pa se dodatno učijo za dialog in upoštevanje navodil. Prvi model GPT je izšel leta 2018; poznejše generacije so podlaga ChatGPT. V vsakdanjem govoru se „GPT“ pogosto uporablja za jezikovne modele nasploh.
