Glosar

Transformer

Ce este Transformer?

Transformerul este o arhitectură de rețea neuronală introdusă în 2017 în lucrarea de cercetare „Attention Is All You Need”. În centrul ei se află mecanismul de atenție: fiecare cuvânt este ponderat în raport cu toate celelalte cuvinte dintr-un text, iar calculul poate fi paralelizat eficient. Transformerele stau la baza modelelor lingvistice de azi, precum GPT, Claude și BERT, și sunt folosite și pentru imagini și audio.

Cum ajută KI.ordo

Modelele Anthropic Claude folosite de KI.ordo sunt modele lingvistice de mari dimensiuni bazate pe arhitectura transformer.

Subiecte

Arhitectură
Deep learning
LLM

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Transformator generativ pre-antrenat (GPT)

GPT (generative pre-trained transformer) desemnează o serie de modele lingvistice de mari dimensiuni dezvoltate de OpenAI și bazate pe arhitectura transformer. Modelele sunt mai întâi pre-antrenate pe cantități uriașe de text pentru a prezice următorul token și apoi antrenate în continuare pentru dialog și pentru urmarea instrucțiunilor. Primul model GPT a apărut în 2018; generațiile ulterioare stau la baza ChatGPT. În limbajul curent, „GPT” este adesea folosit pentru modelele lingvistice în general.

Model lingvistic
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) este un model lingvistic prezentat de Google în 2018. Spre deosebire de modelele anterioare, acesta ia în considerare simultan contextul din stânga și din dreapta unui cuvânt, ceea ce îl ajută să rezolve ambiguitățile. BERT este conceput pentru înțelegerea textelor, nu pentru redactarea unor pasaje mai lungi. Se utilizează pentru căutare, clasificarea textelor, recunoașterea entităților denumite și răspunsul la întrebări și a influențat numeroase modele succesoare.

Model lingvistic
NLP
+1

Model lingvistic de mari dimensiuni (LLM)

Un model lingvistic de mari dimensiuni (LLM) este o rețea neuronală antrenată pe cantități foarte mari de text, ceea ce îi permite să înțeleagă și să genereze limbaj. Funcționează calculând, pas cu pas, cel mai probabil token următor. LLM-urile scriu, rezumă, traduc, răspund la întrebări și generează cod; exemple cunoscute sunt Claude, GPT, Gemini și Llama. Fără acces la surse actuale, ele știu doar ce se afla în datele lor de antrenare.

modele lingvistice
IA generativă
+1

Hugging Face Transformers

Hugging Face Transformers este o bibliotecă Python open-source care oferă acces la modele pre-antrenate pentru text, imagini și audio printr-o interfață unică și coerentă. Dezvoltatorii o folosesc pentru a descărca modele din Hugging Face Hub, a le încerca, a le adapta la propriile date sau a le rula local. Începând cu versiunea 5, biblioteca se concentrează în principal pe PyTorch (situația la octombrie 2026). Exemplu: o echipă testează un model de analiză a sentimentelor cu doar câteva linii de cod.

Open source
bibliotecă
+2