Glosar

Embedding-uri de cuvinte

Ce este Embedding-uri de cuvinte?

Embedding-urile de cuvinte reprezintă cuvintele ca vectori numerici, astfel încât cuvintele cu sensuri similare să se afle aproape unele de altele în spațiul vectorial, precum „mașină” și „autovehicul”. Metode precum Word2Vec sau GloVe învață acești vectori din cantități mari de text. Au fost un pas important în prelucrarea limbajului, de exemplu pentru căutare sau clasificare; modelele lingvistice de azi folosesc embedding-uri contextuale, în care un cuvânt este reprezentat diferit în funcție de propoziție.

Cum ajută KI.ordo

Căutarea în cunoștințe din KI.ordo nu folosește embedding-uri, ci căutare după cuvinte-cheie BM25 direct pe server.

Subiecte

NLP
Vectori
Semantică

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Vector de embedding

Un vector de embedding (embedding) este o listă de numere care reprezintă sensul unui cuvânt, al unei propoziții sau al unui document, astfel încât textele cu conținut similar să se afle aproape unele de altele. Aceasta face posibil să se recunoască, de exemplu, că „reziliere” și „încetarea contractului” sunt înrudite, chiar dacă nu au cuvinte comune. Embedding-urile stau la baza multor sisteme de căutare semantică, servicii de recomandare și aplicații RAG; ele sunt calculate de modele special antrenate.

vector
căutare semantică
+1

Gensim

Gensim este o bibliotecă Python open-source pentru analiza unor colecții mari de texte. Este cunoscută pentru modelele de subiecte, precum LDA, pentru antrenarea vectorilor de cuvinte (de exemplu Word2Vec, FastText și Doc2Vec) și pentru compararea documentelor după similitudine. Deoarece Gensim prelucrează datele pe bucăți, poate gestiona și corpusuri care nu încap în memorie. O utilizare tipică: gruparea automată a mii de comentarii ale clienților după teme recurente.

Bibliotecă Python
modelarea subiectelor
+1

Prelucrarea limbajului natural (NLP)

Prelucrarea limbajului natural este ramura IA care permite calculatoarelor să analizeze, să înțeleagă și să genereze limbajul uman în text sau vorbire. Cuprinde sarcini precum traducerea, clasificarea, rezumarea, analiza sentimentelor și răspunsul la întrebări. Cândva dominau regulile și metodele statistice; astăzi domeniul este modelat de modelele lingvistice de mari dimensiuni.

NLP
Limbă
+1

Analiză semantică

Analiza semantică examinează sensul limbajului – nu doar ce cuvinte apar, ci ce se are în vedere. Aceasta include interpretarea corectă a cuvintelor ambigue în context (de exemplu „bancă” ca instituție financiară sau ca mal al unui râu), recunoașterea relațiilor dintre concepte și clasificarea afirmațiilor după conținut. Stă la baza unor aplicații precum analiza feedbackului clienților, răspunsul la întrebări sau sistemele de căutare care ar trebui să înțeleagă și interogări formulate diferit, dar cu același sens.

NLP
sens
+1