Sõnastik

Transformer

Mis on Transformer?

Transformer on närvivõrgu arhitektuur, mis tutvustati 2017. aastal uurimistöös „Attention Is All You Need“. Selle tuumaks on tähelepanumehhanism: iga sõna kaalutakse suhtes kõigi teiste sõnadega tekstis ning arvutust saab tõhusalt paralleliseerida. Transformerid on tänapäeva keelemudelite, nagu GPT, Claude ja BERT, aluseks ning neid kasutatakse ka piltide ja heli jaoks.

Kuidas KI.ordo aitab

KI.ordo kasutatavad Anthropic Claude mudelid on transformer-arhitektuuril põhinevad suured keelemudelid.

Teemad

Arhitektuur
Süvaõpe
LLM

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot

← Kõik terminid

Seotud terminid

Generatiivne eeltreenitud transformer (GPT)

GPT (generative pre-trained transformer) tähistab OpenAI välja töötatud suurte keelemudelite seeriat, mis põhineb transformeri arhitektuuril. Mudeleid eeltreenitakse esmalt tohutute tekstihulkadega, et ennustada järgmist tokenit, ning seejärel treenitakse edasi dialoogiks ja juhiste järgimiseks. Esimene GPT-mudel ilmus 2018. aastal; hilisemad põlvkonnad on ChatGPT aluseks. Igapäevakõnes kasutatakse „GPT“ sageli keelemudelite kohta üldiselt.

Keelemudel
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) on Google’i poolt 2018. aastal tutvustatud keelemudel. Erinevalt varasematest mudelitest arvestab see korraga sõnast vasakul ja paremal olevat konteksti, mis aitab tal mitmetähenduslikkust lahendada. BERT on mõeldud teksti mõistmiseks, mitte pikemate lõikude kirjutamiseks. Seda kasutatakse otsingus, teksti liigitamisel, nimeolemite tuvastamisel ja küsimustele vastamisel ning see on mõjutanud paljusid järglasmudeleid.

Keelemudel
NLP
+1

Suur keelemudel (LLM)

Suur keelemudel (large language model, LLM) on närvivõrk, mis on treenitud väga suurte tekstihulkadega, mis võimaldab sellel keelest aru saada ja keelt luua. See töötab, arvutades samm-sammult kõige tõenäolisema järgmise tokeni. LLM-id kirjutavad, võtavad kokku, tõlgivad, vastavad küsimustele ja genereerivad koodi; tuntud näited on Claude, GPT, Gemini ja Llama. Ilma juurdepääsuta värsketele allikatele teavad nad ainult seda, mis oli nende treeningandmetes.

Keelemudelid
Generatiivne TI
+1

Hugging Face Transformers

Hugging Face Transformers on avatud lähtekoodiga Pythoni teek, mis annab ühtse ja järjepideva liidese kaudu juurdepääsu teksti, piltide ja heli eeltreenitud mudelitele. Arendajad kasutavad seda mudelite allalaadimiseks Hugging Face Hubist, katsetamiseks, oma andmetele kohandamiseks või kohalikuks käitamiseks. Alates versioonist 5 keskendub teek peamiselt PyTorchile (seisuga oktoober 2026). Näide: meeskond testib sentimendianalüüsi mudelit vaid mõne koodireaga.

Avatud lähtekood
Teek
+2