Glosārijs

Pathways Language Model (PaLM)

Kas ir Pathways Language Model (PaLM)?

PaLM ir Google lielais valodas modelis, kas tika prezentēts 2022. gadā ar 540 miljardiem parametru un apmācīts uz daudziem TPU mikroshēmām vienlaikus, izmantojot Google apmācības sistēmu Pathways. 2023. gadā sekoja PaLM 2, kas cita starpā darbināja tērzēšanas robotu Bard. Google kopš tā laika PaLM ir aizstājis ar saviem Gemini modeļiem, un PaLM izstrādātāju API tika izslēgts 2024. gada augustā. Mūsdienās PaLM ir svarīgs galvenokārt kā pagrieziena punkts lielo valodas modeļu attīstībā.

Tēmas

valodas modelis
Google
modeļu vēsture

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Lielais valodas modelis (LLM)

Lielais valodas modelis (LLM) ir neironu tīkls, kas apmācīts ar ļoti lieliem teksta apjomiem, tāpēc spēj saprast un ģenerēt valodu. Tas darbojas, soli pa solim aprēķinot visticamāko nākamo tokenu. LLM raksta, apkopo, tulko, atbild uz jautājumiem un ģenerē kodu; plaši zināmi piemēri ir Claude, GPT, Gemini un Llama. Bez piekļuves aktuāliem avotiem tie zina tikai to, kas bija to apmācības datos.

Valodas modeļi
Ģeneratīvais MI
+1

Transformer

Transformers ir neironu tīklu arhitektūra, kas ieviesta 2017. gadā pētījumā „Attention Is All You Need”. Tās kodols ir uzmanības mehānisms: katrs vārds tiek svērts attiecībā pret visiem pārējiem teksta vārdiem, un aprēķinu var efektīvi paralelizēt. Transformeri ir mūsdienu valodas modeļu, piemēram, GPT, Claude un BERT, pamatā, un tos izmanto arī attēliem un audio.

Arhitektūra
Dziļā mācīšanās
+1

Pamatmodelis

Pamatmodelis ir liels MI modelis, kas iepriekš apmācīts ar ļoti plašiem, daudzveidīgiem datiem un pēc tam var tikt izmantots daudziem dažādiem uzdevumiem. Terminu 2021. gadā ieviesa Stenfordas Universitātē. Plaši pazīstami piemēri ir lielie valodas modeļi, piemēram, Claude vai GPT, kā arī attēlu modeļi. Uzņēmumi savas lietojumprogrammas parasti būvē uz šādiem modeļiem, nevis apmāca savus no nulles; ES Mākslīgā intelekta akts runā par vispārīga lietojuma MI modeļiem.

Bāzes modelis
Valodas modeļi
+1

Ģeneratīvais iepriekš apmācītais transformeris (GPT)

GPT (generative pre-trained transformer) apzīmē OpenAI izstrādātu lielo valodas modeļu sēriju, kas balstīta uz transformera arhitektūru. Modeļus vispirms iepriekš apmāca ar milzīgiem teksta apjomiem, lai tie prognozētu nākamo tokenu, un pēc tam tālāk apmāca dialogam un norādījumu izpildei. Pirmais GPT modelis parādījās 2018. gadā; vēlākās paaudzes ir ChatGPT pamatā. Ikdienas runā „GPT” bieži lieto valodas modeļiem kopumā.

Valodas modelis
Transformer
+1