Gensim este o bibliotecă Python open-source pentru analiza unor colecții mari de texte. Este cunoscută pentru modelele de subiecte, precum LDA, pentru antrenarea vectorilor de cuvinte (de exemplu Word2Vec, FastText și Doc2Vec) și pentru compararea documentelor după similitudine. Deoarece Gensim prelucrează datele pe bucăți, poate gestiona și corpusuri care nu încap în memorie. O utilizare tipică: gruparea automată a mii de comentarii ale clienților după teme recurente.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulEmbedding-urile de cuvinte reprezintă cuvintele ca vectori numerici, astfel încât cuvintele cu sensuri similare să se afle aproape unele de altele în spațiul vectorial, precum „mașină” și „autovehicul”. Metode precum Word2Vec sau GloVe învață acești vectori din cantități mari de text. Au fost un pas important în prelucrarea limbajului, de exemplu pentru căutare sau clasificare; modelele lingvistice de azi folosesc embedding-uri contextuale, în care un cuvânt este reprezentat diferit în funcție de propoziție.
NLTK (Natural Language Toolkit) este o bibliotecă Python open-source pentru prelucrarea limbajului natural, creată la University of Pennsylvania la începutul anilor 2000. Oferă instrumente pentru tokenizare, stemming, etichetarea părților de vorbire și clasificare simplă, precum și acces la numeroase corpusuri de texte. NLTK este folosită mai ales în predare și cercetare; aplicațiile de producție se bazează adesea pe biblioteci precum spaCy sau pe modele de tip transformer.
spaCy este o bibliotecă Python open-source pentru prelucrarea limbajului natural, dezvoltată de compania Explosion din Berlin. Împarte textele în cuvinte și propoziții, determină părțile de vorbire și formele de bază, analizează structura propozițiilor și recunoaște entități denumite, precum persoane, companii sau locuri. Sunt disponibile modele preantrenate pentru multe limbi, inclusiv germana. spaCy este concepută pentru viteză și pentru utilizare în aplicații reale, de exemplu pentru preprocesarea unor volume mari de documente.
Prelucrarea limbajului natural este ramura IA care permite calculatoarelor să analizeze, să înțeleagă și să genereze limbajul uman în text sau vorbire. Cuprinde sarcini precum traducerea, clasificarea, rezumarea, analiza sentimentelor și răspunsul la întrebări. Cândva dominau regulile și metodele statistice; astăzi domeniul este modelat de modelele lingvistice de mari dimensiuni.
