Glosář

Transformer

Co je Transformer?

Transformer je architektura neuronové sítě představená v roce 2017 ve výzkumné práci „Attention Is All You Need“. Jejím jádrem je mechanismus pozornosti: každé slovo se váží ve vztahu ke všem ostatním slovům v textu a výpočet lze efektivně paralelizovat. Transformery tvoří základ dnešních jazykových modelů, jako jsou GPT, Claude a BERT, a používají se také pro obraz a zvuk.

Jak pomáhá KI.ordo

Modely Claude od společnosti Anthropic, které KI.ordo používá, jsou velké jazykové modely založené na architektuře transformer.

Témata

architektura
Hluboké učení
LLM

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

Generative pre-trained transformer (GPT)

GPT (generative pre-trained transformer) označuje řadu velkých jazykových modelů vyvinutých společností OpenAI na architektuře transformer. Modely se nejprve předtrénují na obrovském množství textu, aby předpovídaly další token, a poté se dále trénují pro dialog a plnění pokynů. První model GPT vyšel v roce 2018; pozdější generace stojí za ChatGPT. V běžné řeči se „GPT“ často používá pro jazykové modely obecně.

Jazykový model
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) je jazykový model, který Google představil v roce 2018. Na rozdíl od dřívějších modelů zohledňuje současně kontext nalevo i napravo od slova, což mu pomáhá řešit víceznačnost. BERT je určen spíše k porozumění textu než k psaní delších pasáží. Využívá se pro vyhledávání, klasifikaci textu, rozpoznávání pojmenovaných entit a odpovídání na otázky a ovlivnil mnoho následných modelů.

Jazykový model
NLP
+1

Velký jazykový model (LLM)

Velký jazykový model (LLM) je neuronová síť natrénovaná na velmi velkém množství textu, díky čemuž dokáže jazyk chápat a generovat. Funguje tak, že krok za krokem počítá nejpravděpodobnější další token. LLM píší, shrnují, překládají, odpovídají na otázky a generují kód; mezi známé příklady patří Claude, GPT, Gemini a Llama. Bez přístupu k aktuálním zdrojům vědí jen to, co bylo v jejich trénovacích datech.

jazykové modely
generativní AI
+1

Hugging Face Transformers

Hugging Face Transformers je open-source knihovna v Pythonu, která prostřednictvím jednoho jednotného rozhraní zpřístupňuje předtrénované modely pro text, obraz a zvuk. Vývojáři ji používají ke stahování modelů z Hugging Face Hub, jejich zkoušení, přizpůsobení vlastním datům nebo lokálnímu provozu. Od verze 5 se knihovna zaměřuje především na PyTorch (stav k říjnu 2026). Příklad: tým vyzkouší model pro analýzu sentimentu jen pomocí několika řádků kódu.

Open source
knihovna
+2