PaLM je velký jazykový model společnosti Google, představený v roce 2022 s 540 miliardami parametrů a trénovaný na mnoha čipech TPU současně pomocí trénovacího systému Pathways od Googlu. V roce 2023 následoval PaLM 2, na kterém mimo jiné běžel chatbot Bard. Google už PaLM nahradil svými modely Gemini a API PaLM pro vývojáře bylo v srpnu 2024 vypnuto. Dnes je PaLM důležitý hlavně jako milník ve vývoji velkých jazykových modelů.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoVelký jazykový model (LLM) je neuronová síť natrénovaná na velmi velkém množství textu, díky čemuž dokáže jazyk chápat a generovat. Funguje tak, že krok za krokem počítá nejpravděpodobnější další token. LLM píší, shrnují, překládají, odpovídají na otázky a generují kód; mezi známé příklady patří Claude, GPT, Gemini a Llama. Bez přístupu k aktuálním zdrojům vědí jen to, co bylo v jejich trénovacích datech.
Transformer je architektura neuronové sítě představená v roce 2017 ve výzkumné práci „Attention Is All You Need“. Jejím jádrem je mechanismus pozornosti: každé slovo se váží ve vztahu ke všem ostatním slovům v textu a výpočet lze efektivně paralelizovat. Transformery tvoří základ dnešních jazykových modelů, jako jsou GPT, Claude a BERT, a používají se také pro obraz a zvuk.
Základní model (foundation model) je velký model AI předtrénovaný na velmi rozsáhlých, širokých datech, který lze poté použít pro mnoho různých úloh. Pojem vznikl v roce 2021 na Stanfordově univerzitě. Známými příklady jsou velké jazykové modely jako Claude nebo GPT, ale i obrazové modely. Firmy na takových modelech obvykle staví své aplikace, místo aby trénovaly vlastní od nuly; akt EU o umělé inteligenci hovoří o modelech AI pro všeobecné účely.
GPT (generative pre-trained transformer) označuje řadu velkých jazykových modelů vyvinutých společností OpenAI na architektuře transformer. Modely se nejprve předtrénují na obrovském množství textu, aby předpovídaly další token, a poté se dále trénují pro dialog a plnění pokynů. První model GPT vyšel v roce 2018; pozdější generace stojí za ChatGPT. V běžné řeči se „GPT“ často používá pro jazykové modely obecně.
