Fogalomtár

Transformer

Mi a(z) Transformer?

A transzformer egy neurális hálózati architektúra, amelyet 2017-ben az „Attention Is All You Need” kutatási cikkben mutattak be. Középpontjában a figyelemmechanizmus áll: a szöveg minden szavát a többi szóhoz viszonyítva súlyozza, és a számítás hatékonyan párhuzamosítható. A transzformerek a mai nyelvi modellek – például a GPT, a Claude és a BERT – alapját képezik, és képekhez, valamint hanghoz is használják őket.

Így segít a KI.ordo

A KI.ordo által használt Anthropic Claude modellek a transzformer architektúrán alapuló nagy nyelvi modellek.

Témák

architektúra
Mélytanulás
LLM

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Generatív előtanított transzformer (GPT)

A GPT (generative pre-trained transformer) az OpenAI által fejlesztett, transzformer-architektúrára épülő nagy nyelvi modellek sorozata. A modelleket először hatalmas szövegmennyiségen tanítják elő a következő token megjósolására, majd párbeszédre és utasítások követésére tanítják tovább. Az első GPT-modell 2018-ban jelent meg; a későbbi generációk a ChatGPT alapját képezik. A mindennapi beszédben a „GPT” szót gyakran a nyelvi modellekre általában használják.

Nyelvi modell
Transformer
+1

BERT

A BERT (Bidirectional Encoder Representations from Transformers) a Google által 2018-ban bemutatott nyelvi modell. A korábbi modellekkel ellentétben egyszerre veszi figyelembe egy szó bal és jobb oldali kontextusát, ami segít a többértelműség feloldásában. A BERT-et szövegértésre tervezték, nem hosszabb szövegrészek írására. Keresésre, szövegosztályozásra, névelem-felismerésre és kérdésmegválaszolásra használják, és számos utódmodellt formált.

Nyelvi modell
NLP
+1

Nagy nyelvi modell (LLM)

A nagy nyelvi modell (LLM) egy nagyon nagy szövegmennyiségen betanított neurális háló, amely képes a nyelv megértésére és előállítására. Úgy működik, hogy lépésről lépésre kiszámítja a legvalószínűbb következő tokent. Az LLM-ek írnak, összefoglalnak, fordítanak, kérdésekre válaszolnak és kódot generálnak; ismert példák a Claude, a GPT, a Gemini és a Llama. Aktuális források elérése nélkül csak azt tudják, ami a tanítóadataikban szerepelt.

nyelvi modellek
generatív MI
+1

Hugging Face Transformers

A Hugging Face Transformers egy nyílt forráskódú Python-könyvtár, amely egyetlen, egységes felületen keresztül ad hozzáférést szöveghez, képhez és hanghoz előre betanított modellekhez. A fejlesztők arra használják, hogy modelleket töltsenek le a Hugging Face Hubról, kipróbálják őket, saját adataikhoz igazítsák vagy helyben futtassák őket. Az 5-ös verzió óta a könyvtár elsősorban a PyTorchra összpontosít (2026. októberi állapot szerint). Példa: egy csapat néhány sornyi kóddal tesztel egy hangulatelemző modellt.

Nyílt forráskód
könyvtár
+2