Terminų žodynas

Transformer

Kas yra Transformer?

Transformeris – neuroninio tinklo architektūra, pristatyta 2017 m. moksliniame straipsnyje „Attention Is All You Need“. Jos esmė – dėmesio mechanizmas: kiekvienas teksto žodis įvertinamas atsižvelgiant į visus kitus žodžius, o skaičiavimus galima efektyviai lygiagretinti. Transformeriais remiasi šiandienos kalbos modeliai, tokie kaip GPT, Claude ir BERT, jie taip pat naudojami vaizdams ir garsui.

Kaip padeda KI.ordo

Anthropic Claude modeliai, kuriuos naudoja KI.ordo, yra dideli kalbos modeliai, pagrįsti transformerių architektūra.

Temos

architektūra
Gilusis mokymasis
LLM

Išbandykite KI.ordo

Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.

Pradėti demonstraciją

← Visi terminai

Susiję terminai

Generatyvinis iš anksto apmokytas transformeris (GPT)

GPT (angl. generative pre-trained transformer) žymi „OpenAI“ sukurtą didelių kalbos modelių seriją, grindžiamą transformerio architektūra. Modeliai pirmiausia iš anksto apmokomi su milžiniškais teksto kiekiais, kad nuspėtų kitą tokeną, o paskui toliau mokomi dialogo ir nurodymų vykdymo. Pirmasis GPT modelis pasirodė 2018 m.; vėlesnės kartos yra „ChatGPT“ pagrindas. Šnekamojoje kalboje „GPT“ dažnai vadinami apskritai kalbos modeliai.

Kalbos modelis
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) – 2018 m. Google pristatytas kalbos modelis. Skirtingai nei ankstesni modeliai, jis vienu metu atsižvelgia į kontekstą žodžio kairėje ir dešinėje, todėl lengviau išsprendžia daugiaprasmiškumą. BERT skirtas tekstui suprasti, o ne ilgesniems tekstams rašyti. Jis naudojamas paieškai, teksto klasifikavimui, įvardytųjų esybių atpažinimui ir atsakymams į klausimus bei padarė įtaką daugeliui vėlesnių modelių.

Kalbos modelis
NLP
+1

Didysis kalbos modelis (LLM)

Didysis kalbos modelis (angl. large language model, LLM) – tai neuroninis tinklas, apmokytas su labai dideliais teksto kiekiais, todėl gebantis suprasti ir generuoti kalbą. Jis veikia žingsnis po žingsnio skaičiuodamas labiausiai tikėtiną kitą tokeną. LLM rašo, apibendrina, verčia, atsako į klausimus ir generuoja kodą; gerai žinomi pavyzdžiai – „Claude“, GPT, „Gemini“ ir „Llama“. Neturėdami prieigos prie aktualių šaltinių, jie žino tik tai, kas buvo jų mokymo duomenyse.

kalbos modeliai
generatyvinis DI
+1

Hugging Face Transformers

„Hugging Face Transformers“ yra atvirojo kodo „Python“ biblioteka, per vieną nuoseklią sąsają suteikianti prieigą prie iš anksto apmokytų teksto, vaizdų ir garso modelių. Kūrėjai ją naudoja modeliams atsisiųsti iš „Hugging Face Hub“, jiems išbandyti, pritaikyti savo duomenims arba paleisti vietoje. Nuo 5 versijos biblioteka daugiausia orientuota į „PyTorch“ (2026 m. spalio mėn. duomenimis). Pavyzdys: komanda vos keliomis kodo eilutėmis išbando nuotaikų analizės modelį.

Atvirasis kodas
biblioteka
+2