Slovar pojmov

Transformer

Kaj je Transformer?

Transformer je arhitektura nevronskih mrež, predstavljena leta 2017 v raziskovalnem članku „Attention Is All You Need“. Jedro je mehanizem pozornosti: vsaka beseda se pretehta glede na vse druge besede v besedilu, izračun pa je mogoče učinkovito vzporediti. Transformerji so podlaga današnjih jezikovnih modelov, kot so GPT, Claude in BERT, uporabljajo pa se tudi za slike in zvok.

Kako pomaga KI.ordo

Modeli Anthropic Claude, ki jih uporablja KI.ordo, so veliki jezikovni modeli na osnovi arhitekture transformer.

Teme

Arhitektura
Globoko učenje
LLM

Preizkusite KI.ordo

Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.

Začni predstavitev

← Vsi pojmi

Sorodni pojmi

Generativni predhodno učeni transformer (GPT)

GPT (generative pre-trained transformer) označuje serijo velikih jezikovnih modelov podjetja OpenAI, ki temeljijo na arhitekturi transformer. Modeli se najprej predhodno učijo na ogromnih količinah besedil, da napovedujejo naslednji token, nato pa se dodatno učijo za dialog in upoštevanje navodil. Prvi model GPT je izšel leta 2018; poznejše generacije so podlaga ChatGPT. V vsakdanjem govoru se „GPT“ pogosto uporablja za jezikovne modele nasploh.

Jezikovni model
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) je jezikovni model, ki ga je Google predstavil leta 2018. Za razliko od starejših modelov hkrati upošteva kontekst levo in desno od besede, kar mu pomaga razrešiti dvoumnosti. BERT je zasnovan za razumevanje besedil, ne za pisanje daljših odlomkov. Uporablja se za iskanje, razvrščanje besedil, prepoznavanje imenskih entitet in odgovarjanje na vprašanja ter je oblikoval številne naslednike.

Jezikovni model
NLP
+1

Veliki jezikovni model (LLM)

Veliki jezikovni model (large language model, LLM) je nevronska mreža, naučena na zelo velikih količinah besedil, kar ji omogoča razumevanje in ustvarjanje jezika. Deluje tako, da korak za korakom izračunava najverjetnejši naslednji token. LLM-ji pišejo, povzemajo, prevajajo, odgovarjajo na vprašanja in ustvarjajo kodo; znani primeri so Claude, GPT, Gemini in Llama. Brez dostopa do aktualnih virov poznajo le tisto, kar je bilo v njihovih učnih podatkih.

Jezikovni modeli
Generativna UI
+1

Hugging Face Transformers

Hugging Face Transformers je odprtokodna knjižnica v jeziku Python, ki prek enotnega, dosledno zasnovanega vmesnika omogoča dostop do vnaprej naučenih modelov za besedilo, slike in zvok. Razvijalci jo uporabljajo za prenos modelov iz središča Hugging Face Hub, njihovo preizkušanje, prilagajanje lastnim podatkom ali lokalno izvajanje. Od različice 5 se knjižnica osredotoča predvsem na PyTorch (stanje oktober 2026). Primer: ekipa z nekaj vrsticami kode preizkusi model za analizo razpoloženja.

Odprta koda
Knjižnica
+2