A PaLM a Google nagy nyelvi modellje, amelyet 2022-ben mutattak be 540 milliárd paraméterrel, és amelyet a Google Pathways tanítási rendszerével, egyszerre sok TPU-chipen tanítottak. 2023-ban követte a PaLM 2, amely többek között a Bard csevegőrobotot hajtotta. A Google azóta a PaLM-et Gemini-modelljeire cserélte, a PaLM fejlesztői API-t pedig 2024 augusztusában leállították. Ma a PaLM főként a nagy nyelvi modellek fejlődésének mérföldköveként jelentős.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA nagy nyelvi modell (LLM) egy nagyon nagy szövegmennyiségen betanított neurális háló, amely képes a nyelv megértésére és előállítására. Úgy működik, hogy lépésről lépésre kiszámítja a legvalószínűbb következő tokent. Az LLM-ek írnak, összefoglalnak, fordítanak, kérdésekre válaszolnak és kódot generálnak; ismert példák a Claude, a GPT, a Gemini és a Llama. Aktuális források elérése nélkül csak azt tudják, ami a tanítóadataikban szerepelt.
A transzformer egy neurális hálózati architektúra, amelyet 2017-ben az „Attention Is All You Need” kutatási cikkben mutattak be. Középpontjában a figyelemmechanizmus áll: a szöveg minden szavát a többi szóhoz viszonyítva súlyozza, és a számítás hatékonyan párhuzamosítható. A transzformerek a mai nyelvi modellek – például a GPT, a Claude és a BERT – alapját képezik, és képekhez, valamint hanghoz is használják őket.
Az alapmodell (foundation model) egy nagyon kiterjedt, sokrétű adatokon előre betanított nagy MI-modell, amely aztán sokféle feladatra felhasználható. A kifejezést a Stanford Egyetemen alkották 2021-ben. Ismert példák a nagy nyelvi modellek, mint a Claude vagy a GPT, valamint a képmodellek. A vállalkozások alkalmazásaikat általában ilyen modellekre építik, ahelyett hogy a nulláról saját modellt tanítanának; az EU MI-rendelete az általános célú MI-modellekre hivatkozik.
A GPT (generative pre-trained transformer) az OpenAI által fejlesztett, transzformer-architektúrára épülő nagy nyelvi modellek sorozata. A modelleket először hatalmas szövegmennyiségen tanítják elő a következő token megjósolására, majd párbeszédre és utasítások követésére tanítják tovább. Az első GPT-modell 2018-ban jelent meg; a későbbi generációk a ChatGPT alapját képezik. A mindennapi beszédben a „GPT” szót gyakran a nyelvi modellekre általában használják.
