Pojmovnik

Transformer

Što je Transformer?

Transformer je arhitektura neuronskih mreža predstavljena 2017. u istraživačkom radu „Attention Is All You Need“. U njezinoj je jezgri mehanizam pažnje: svaka riječ vaga se u odnosu na sve ostale riječi u tekstu, a izračun se može učinkovito paralelizirati. Transformeri su temelj današnjih jezičnih modela poput GPT-a, Claudea i BERT-a, a koriste se i za slike i zvuk.

Kako KI.ordo pomaže

Modeli Claude tvrtke Anthropic koje koristi KI.ordo veliki su jezični modeli temeljeni na arhitekturi transformera.

Teme

Arhitektura
Duboko učenje
LLM

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Generativni unaprijed trenirani transformer (GPT)

GPT (generative pre-trained transformer) označava seriju velikih jezičnih modela tvrtke OpenAI koji se temelje na arhitekturi transformera. Modeli se najprije unaprijed treniraju na golemim količinama teksta kako bi predviđali sljedeći token, a zatim se dodatno treniraju za dijalog i izvršavanje uputa. Prvi GPT model pojavio se 2018.; kasnije generacije temelj su ChatGPT-a. U svakodnevnom govoru „GPT” se često koristi za jezične modele općenito.

Jezični model
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) jezični je model koji je Google predstavio 2018. Za razliku od ranijih modela, istodobno uzima u obzir kontekst lijevo i desno od riječi, što mu pomaže razriješiti višeznačnost. BERT je namijenjen razumijevanju teksta, a ne pisanju duljih odlomaka. Koristi se za pretraživanje, klasifikaciju teksta, prepoznavanje imenovanih entiteta i odgovaranje na pitanja te je oblikovao mnoge modele nasljednike.

Jezični model
NLP
+1

Veliki jezični model (LLM)

Veliki jezični model (LLM) neuronska je mreža trenirana na vrlo velikim količinama teksta, zahvaljujući čemu može razumjeti i generirati jezik. Radi tako da korak po korak izračunava najvjerojatniji sljedeći token. LLM-ovi pišu, sažimaju, prevode, odgovaraju na pitanja i generiraju kod; poznati primjeri su Claude, GPT, Gemini i Llama. Bez pristupa aktualnim izvorima znaju samo ono što je bilo u njihovim podacima za treniranje.

Jezični modeli
Generativna UI
+1

Hugging Face Transformers

Hugging Face Transformers je open-source Python biblioteka koja putem jednog, dosljednog sučelja omogućuje pristup unaprijed treniranim modelima za tekst, slike i zvuk. Programeri je koriste za preuzimanje modela s Hugging Face Huba, njihovo isprobavanje, prilagodbu vlastitim podacima ili lokalno pokretanje. Od verzije 5 biblioteka je usmjerena prvenstveno na PyTorch (stanje: listopad 2026.). Primjer: tim testira model za analizu sentimenta u samo nekoliko redaka koda.

Otvoreni kod
Biblioteka
+2