Glosar

Pathways Language Model (PaLM)

Ce este Pathways Language Model (PaLM)?

PaLM este un model lingvistic de mari dimensiuni de la Google, prezentat în 2022, cu 540 de miliarde de parametri și antrenat simultan pe numeroase cipuri TPU cu ajutorul sistemului de antrenare Pathways al Google. În 2023 a urmat PaLM 2, care a stat, printre altele, la baza chatbotului Bard. Între timp, Google a înlocuit PaLM cu modelele sale Gemini, iar API-ul PaLM pentru dezvoltatori a fost închis în august 2024. Astăzi, PaLM contează mai ales ca etapă importantă în dezvoltarea modelelor lingvistice de mari dimensiuni.

Subiecte

model lingvistic
Google
istoria modelelor

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Model lingvistic de mari dimensiuni (LLM)

Un model lingvistic de mari dimensiuni (LLM) este o rețea neuronală antrenată pe cantități foarte mari de text, ceea ce îi permite să înțeleagă și să genereze limbaj. Funcționează calculând, pas cu pas, cel mai probabil token următor. LLM-urile scriu, rezumă, traduc, răspund la întrebări și generează cod; exemple cunoscute sunt Claude, GPT, Gemini și Llama. Fără acces la surse actuale, ele știu doar ce se afla în datele lor de antrenare.

modele lingvistice
IA generativă
+1

Transformer

Transformerul este o arhitectură de rețea neuronală introdusă în 2017 în lucrarea de cercetare „Attention Is All You Need”. În centrul ei se află mecanismul de atenție: fiecare cuvânt este ponderat în raport cu toate celelalte cuvinte dintr-un text, iar calculul poate fi paralelizat eficient. Transformerele stau la baza modelelor lingvistice de azi, precum GPT, Claude și BERT, și sunt folosite și pentru imagini și audio.

Arhitectură
Deep learning
+1

Model de fundație

Un model de fundație (foundation model) este un model IA de mari dimensiuni, pre-antrenat pe date foarte extinse și variate, care poate fi apoi folosit pentru multe sarcini diferite. Termenul a fost lansat la Universitatea Stanford în 2021. Exemple cunoscute sunt modelele lingvistice de mari dimensiuni, precum Claude sau GPT, dar și modelele de imagine. Companiile își construiesc de obicei aplicațiile pe astfel de modele, în loc să antreneze unul propriu de la zero; Regulamentul UE privind IA (AI Act) se referă la modele IA de uz general.

model de bază
modele lingvistice
+1

Transformator generativ pre-antrenat (GPT)

GPT (generative pre-trained transformer) desemnează o serie de modele lingvistice de mari dimensiuni dezvoltate de OpenAI și bazate pe arhitectura transformer. Modelele sunt mai întâi pre-antrenate pe cantități uriașe de text pentru a prezice următorul token și apoi antrenate în continuare pentru dialog și pentru urmarea instrucțiunilor. Primul model GPT a apărut în 2018; generațiile ulterioare stau la baza ChatGPT. În limbajul curent, „GPT” este adesea folosit pentru modelele lingvistice în general.

Model lingvistic
Transformer
+1