Glosar

BERT

Ce este BERT?

BERT (Bidirectional Encoder Representations from Transformers) este un model lingvistic prezentat de Google în 2018. Spre deosebire de modelele anterioare, acesta ia în considerare simultan contextul din stânga și din dreapta unui cuvânt, ceea ce îl ajută să rezolve ambiguitățile. BERT este conceput pentru înțelegerea textelor, nu pentru redactarea unor pasaje mai lungi. Se utilizează pentru căutare, clasificarea textelor, recunoașterea entităților denumite și răspunsul la întrebări și a influențat numeroase modele succesoare.

Subiecte

Model lingvistic
NLP
Transformer

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Transformer

Transformerul este o arhitectură de rețea neuronală introdusă în 2017 în lucrarea de cercetare „Attention Is All You Need”. În centrul ei se află mecanismul de atenție: fiecare cuvânt este ponderat în raport cu toate celelalte cuvinte dintr-un text, iar calculul poate fi paralelizat eficient. Transformerele stau la baza modelelor lingvistice de azi, precum GPT, Claude și BERT, și sunt folosite și pentru imagini și audio.

Arhitectură
Deep learning
+1

Înțelegerea limbajului natural (NLU)

Înțelegerea limbajului natural este partea prelucrării limbajului care surprinde sensul unui enunț: ce intenție se află în spatele lui, ce persoane, locuri sau date sunt menționate și care este tonul? Împreună cu generarea limbajului natural (NLG), NLU formează una dintre cele două laturi ale NLP. Un exemplu este un sistem de servicii pentru clienți care recunoaște „Coletul meu tot nu a ajuns” ca pe o solicitare privind livrarea.

NLP
Detectarea intenției
+1

Embedding-uri de cuvinte

Embedding-urile de cuvinte reprezintă cuvintele ca vectori numerici, astfel încât cuvintele cu sensuri similare să se afle aproape unele de altele în spațiul vectorial, precum „mașină” și „autovehicul”. Metode precum Word2Vec sau GloVe învață acești vectori din cantități mari de text. Au fost un pas important în prelucrarea limbajului, de exemplu pentru căutare sau clasificare; modelele lingvistice de azi folosesc embedding-uri contextuale, în care un cuvânt este reprezentat diferit în funcție de propoziție.

NLP
Vectori
+1

Transformator generativ pre-antrenat (GPT)

GPT (generative pre-trained transformer) desemnează o serie de modele lingvistice de mari dimensiuni dezvoltate de OpenAI și bazate pe arhitectura transformer. Modelele sunt mai întâi pre-antrenate pe cantități uriașe de text pentru a prezice următorul token și apoi antrenate în continuare pentru dialog și pentru urmarea instrucțiunilor. Primul model GPT a apărut în 2018; generațiile ulterioare stau la baza ChatGPT. În limbajul curent, „GPT” este adesea folosit pentru modelele lingvistice în general.

Model lingvistic
Transformer
+1