Glosārijs

Transformer

Kas ir Transformer?

Transformers ir neironu tīklu arhitektūra, kas ieviesta 2017. gadā pētījumā „Attention Is All You Need”. Tās kodols ir uzmanības mehānisms: katrs vārds tiek svērts attiecībā pret visiem pārējiem teksta vārdiem, un aprēķinu var efektīvi paralelizēt. Transformeri ir mūsdienu valodas modeļu, piemēram, GPT, Claude un BERT, pamatā, un tos izmanto arī attēliem un audio.

Kā palīdz KI.ordo

Anthropic Claude modeļi, ko izmanto KI.ordo, ir lielie valodas modeļi, kas balstīti uz transformeru arhitektūru.

Tēmas

Arhitektūra
Dziļā mācīšanās
LLM

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Ģeneratīvais iepriekš apmācītais transformeris (GPT)

GPT (generative pre-trained transformer) apzīmē OpenAI izstrādātu lielo valodas modeļu sēriju, kas balstīta uz transformera arhitektūru. Modeļus vispirms iepriekš apmāca ar milzīgiem teksta apjomiem, lai tie prognozētu nākamo tokenu, un pēc tam tālāk apmāca dialogam un norādījumu izpildei. Pirmais GPT modelis parādījās 2018. gadā; vēlākās paaudzes ir ChatGPT pamatā. Ikdienas runā „GPT” bieži lieto valodas modeļiem kopumā.

Valodas modelis
Transformer
+1

BERT

BERT (Bidirectional Encoder Representations from Transformers) ir valodas modelis, ko Google ieviesa 2018. gadā. Atšķirībā no agrākiem modeļiem tas vienlaikus ņem vērā kontekstu pa kreisi un pa labi no vārda, kas palīdz novērst divdomību. BERT ir paredzēts teksta izpratnei, nevis garāku fragmentu rakstīšanai. To izmanto meklēšanā, teksta klasifikācijā, nosaukto entītiju atpazīšanā un atbildēšanā uz jautājumiem, un tas ir ietekmējis daudzus pēctečmodeļus.

Valodas modelis
NLP
+1

Lielais valodas modelis (LLM)

Lielais valodas modelis (LLM) ir neironu tīkls, kas apmācīts ar ļoti lieliem teksta apjomiem, tāpēc spēj saprast un ģenerēt valodu. Tas darbojas, soli pa solim aprēķinot visticamāko nākamo tokenu. LLM raksta, apkopo, tulko, atbild uz jautājumiem un ģenerē kodu; plaši zināmi piemēri ir Claude, GPT, Gemini un Llama. Bez piekļuves aktuāliem avotiem tie zina tikai to, kas bija to apmācības datos.

Valodas modeļi
Ģeneratīvais MI
+1

Hugging Face Transformers

Hugging Face Transformers ir atvērtā pirmkoda Python bibliotēka, kas caur vienotu, konsekventu saskarni sniedz piekļuvi iepriekš apmācītiem modeļiem tekstam, attēliem un audio. Izstrādātāji to izmanto, lai lejupielādētu modeļus no Hugging Face Hub, izmēģinātu tos, pielāgotu saviem datiem vai darbinātu lokāli. Kopš 5. versijas bibliotēka galvenokārt koncentrējas uz PyTorch (stāvoklis 2026. gada oktobrī). Piemērs: komanda ar dažām koda rindām testē noskaņojuma analīzes modeli.

Atvērtais pirmkods
Bibliotēka
+2