PaLM je veľký jazykový model od spoločnosti Google, predstavený v roku 2022 s 540 miliardami parametrov a trénovaný súčasne na mnohých čipoch TPU pomocou trénovacieho systému Google Pathways. V roku 2023 nasledoval PaLM 2, ktorý okrem iného poháňal chatbot Bard. Google medzitým PaLM nahradil modelmi Gemini a vývojárske API PaLM bolo v auguste 2024 vypnuté. Dnes je PaLM dôležitý najmä ako medzník vo vývoji veľkých jazykových modelov.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoVeľký jazykový model (LLM, large language model) je neurónová sieť natrénovaná na veľmi veľkom množstve textu, vďaka čomu rozumie jazyku a dokáže ho tvoriť. Funguje tak, že krok za krokom vypočítava najpravdepodobnejší nasledujúci token. LLM píšu, zhŕňajú, prekladajú, odpovedajú na otázky a generujú kód; známymi príkladmi sú Claude, GPT, Gemini a Llama. Bez prístupu k aktuálnym zdrojom vedia len to, čo bolo v ich trénovacích údajoch.
Transformer je architektúra neurónových sietí, ktorá bola predstavená v roku 2017 vo výskumnej práci „Attention Is All You Need“. Jej jadrom je mechanizmus pozornosti: každé slovo sa váži vo vzťahu ku všetkým ostatným slovám v texte a výpočet sa dá efektívne paralelizovať. Transformery tvoria základ dnešných jazykových modelov, ako sú GPT, Claude a BERT, a používajú sa aj pri obrázkoch a zvuku.
Základný model (foundation model) je veľký model AI vopred natrénovaný na veľmi rozsiahlych a rôznorodých údajoch, ktorý sa potom dá použiť na mnoho rôznych úloh. Pojem vznikol na Stanfordskej univerzite v roku 2021. Známymi príkladmi sú veľké jazykové modely, ako Claude alebo GPT, a tiež modely obrázkov. Firmy zvyčajne stavajú svoje aplikácie na takýchto modeloch, namiesto toho, aby od základu trénovali vlastné; akt EÚ o umelej inteligencii hovorí o modeloch AI na všeobecné účely.
GPT (generative pre-trained transformer) označuje sériu veľkých jazykových modelov vyvinutých spoločnosťou OpenAI, ktoré vychádzajú z architektúry transformer. Modely sa najprv predtrénujú na obrovskom množstve textu, aby predpovedali nasledujúci token, a potom sa ďalej trénujú na dialóg a plnenie pokynov. Prvý model GPT vyšiel v roku 2018; neskoršie generácie tvoria základ ChatGPT. V bežnej reči sa „GPT“ často používa pre jazykové modely vo všeobecnosti.
