A BERT (Bidirectional Encoder Representations from Transformers) a Google által 2018-ban bemutatott nyelvi modell. A korábbi modellekkel ellentétben egyszerre veszi figyelembe egy szó bal és jobb oldali kontextusát, ami segít a többértelműség feloldásában. A BERT-et szövegértésre tervezték, nem hosszabb szövegrészek írására. Keresésre, szövegosztályozásra, névelem-felismerésre és kérdésmegválaszolásra használják, és számos utódmodellt formált.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA transzformer egy neurális hálózati architektúra, amelyet 2017-ben az „Attention Is All You Need” kutatási cikkben mutattak be. Középpontjában a figyelemmechanizmus áll: a szöveg minden szavát a többi szóhoz viszonyítva súlyozza, és a számítás hatékonyan párhuzamosítható. A transzformerek a mai nyelvi modellek – például a GPT, a Claude és a BERT – alapját képezik, és képekhez, valamint hanghoz is használják őket.
A természetesnyelv-értés a nyelvfeldolgozásnak az a része, amely egy megnyilatkozás jelentését ragadja meg: milyen szándék áll mögötte, mely személyek, helyek vagy dátumok szerepelnek benne, és milyen a hangvétele? A természetesnyelv-generálással (NLG) együtt az NLU az NLP két oldalának egyike. Egy példa az ügyfélszolgálati rendszer, amely a „A csomagom még mindig nem érkezett meg” üzenetet szállítási megkeresésként ismeri fel.
A szóbeágyazások a szavakat numerikus vektorokként ábrázolják úgy, hogy a hasonló jelentésű szavak közel kerüljenek egymáshoz a vektortérben, például az „autó” és a „jármű”. Az olyan módszerek, mint a Word2Vec vagy a GloVe, ezeket a vektorokat nagy szövegmennyiségből tanulják. Fontos lépést jelentettek a nyelvfeldolgozásban, például a keresésnél vagy az osztályozásnál; a mai nyelvi modellek kontextuális beágyazásokat használnak, amelyekben egy szót a mondattól függően másképp ábrázolnak.
A GPT (generative pre-trained transformer) az OpenAI által fejlesztett, transzformer-architektúrára épülő nagy nyelvi modellek sorozata. A modelleket először hatalmas szövegmennyiségen tanítják elő a következő token megjósolására, majd párbeszédre és utasítások követésére tanítják tovább. Az első GPT-modell 2018-ban jelent meg; a későbbi generációk a ChatGPT alapját képezik. A mindennapi beszédben a „GPT” szót gyakran a nyelvi modellekre általában használják.
