Slovník pojmov

Transformer

Čo je Transformer?

Transformer je architektúra neurónových sietí, ktorá bola predstavená v roku 2017 vo výskumnej práci „Attention Is All You Need“. Jej jadrom je mechanizmus pozornosti: každé slovo sa váži vo vzťahu ku všetkým ostatným slovám v texte a výpočet sa dá efektívne paralelizovať. Transformery tvoria základ dnešných jazykových modelov, ako sú GPT, Claude a BERT, a používajú sa aj pri obrázkoch a zvuku.

Ako pomáha KI.ordo

Modely Claude od spoločnosti Anthropic, ktoré KI.ordo používa, sú veľké jazykové modely založené na architektúre transformer.

Témy

Architektúra
Hlboké učenie
LLM

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

Generatívny predtrénovaný transformér (GPT)

GPT (generative pre-trained transformer) označuje sériu veľkých jazykových modelov vyvinutých spoločnosťou OpenAI, ktoré vychádzajú z architektúry transformer. Modely sa najprv predtrénujú na obrovskom množstve textu, aby predpovedali nasledujúci token, a potom sa ďalej trénujú na dialóg a plnenie pokynov. Prvý model GPT vyšiel v roku 2018; neskoršie generácie tvoria základ ChatGPT. V bežnej reči sa „GPT“ často používa pre jazykové modely vo všeobecnosti.

Jazykový model
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) je jazykový model, ktorý Google predstavil v roku 2018. Na rozdiel od starších modelov zohľadňuje súčasne kontext naľavo aj napravo od slova, čo mu pomáha riešiť viacznačnosť. BERT je určený na porozumenie textu, nie na písanie dlhších pasáží. Využíva sa vo vyhľadávaní, klasifikácii textu, rozpoznávaní pomenovaných entít a odpovedaní na otázky a ovplyvnil mnohé nasledujúce modely.

Jazykový model
NLP
+1

Veľký jazykový model (LLM)

Veľký jazykový model (LLM, large language model) je neurónová sieť natrénovaná na veľmi veľkom množstve textu, vďaka čomu rozumie jazyku a dokáže ho tvoriť. Funguje tak, že krok za krokom vypočítava najpravdepodobnejší nasledujúci token. LLM píšu, zhŕňajú, prekladajú, odpovedajú na otázky a generujú kód; známymi príkladmi sú Claude, GPT, Gemini a Llama. Bez prístupu k aktuálnym zdrojom vedia len to, čo bolo v ich trénovacích údajoch.

jazykové modely
generatívna AI
+1

Hugging Face Transformers

Hugging Face Transformers je open-source knižnica v jazyku Python, ktorá poskytuje prístup k vopred natrénovaným modelom pre text, obrázky a zvuk cez jedno, jednotné rozhranie. Vývojári ju používajú na sťahovanie modelov z Hugging Face Hub, ich vyskúšanie, prispôsobenie vlastným údajom alebo lokálne spúšťanie. Od verzie 5 sa knižnica zameriava predovšetkým na PyTorch (stav k októbru 2026). Príklad: tím otestuje model analýzy sentimentu len niekoľkými riadkami kódu.

Open source
knižnica
+2