BERT (Bidirectional Encoder Representations from Transformers) jezični je model koji je Google predstavio 2018. Za razliku od ranijih modela, istodobno uzima u obzir kontekst lijevo i desno od riječi, što mu pomaže razriješiti višeznačnost. BERT je namijenjen razumijevanju teksta, a ne pisanju duljih odlomaka. Koristi se za pretraživanje, klasifikaciju teksta, prepoznavanje imenovanih entiteta i odgovaranje na pitanja te je oblikovao mnoge modele nasljednike.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoTransformer je arhitektura neuronskih mreža predstavljena 2017. u istraživačkom radu „Attention Is All You Need“. U njezinoj je jezgri mehanizam pažnje: svaka riječ vaga se u odnosu na sve ostale riječi u tekstu, a izračun se može učinkovito paralelizirati. Transformeri su temelj današnjih jezičnih modela poput GPT-a, Claudea i BERT-a, a koriste se i za slike i zvuk.
Razumijevanje prirodnog jezika dio je obrade jezika koji bilježi značenje iskaza: koja je namjera iza njega, koje se osobe, mjesta ili datumi spominju i kakav je ton? Zajedno s generiranjem prirodnog jezika (NLG), NLU čini jednu od dviju strana NLP-a. Primjer je sustav korisničke službe koji iskaz „Moja pošiljka još nije stigla“ prepoznaje kao upit o isporuci.
Ugradnje riječi prikazuju riječi kao numeričke vektore tako da riječi sličnog značenja leže blizu u vektorskom prostoru, primjerice „auto“ i „vozilo“. Metode poput Word2Veca ili GloVea uče te vektore iz velikih količina teksta. Bile su važan korak u obradi jezika, primjerice za pretraživanje ili klasifikaciju; današnji jezični modeli koriste kontekstualne ugradnje u kojima se riječ prikazuje drukčije ovisno o rečenici.
GPT (generative pre-trained transformer) označava seriju velikih jezičnih modela tvrtke OpenAI koji se temelje na arhitekturi transformera. Modeli se najprije unaprijed treniraju na golemim količinama teksta kako bi predviđali sljedeći token, a zatim se dodatno treniraju za dijalog i izvršavanje uputa. Prvi GPT model pojavio se 2018.; kasnije generacije temelj su ChatGPT-a. U svakodnevnom govoru „GPT” se često koristi za jezične modele općenito.
