NLTK (Natural Language Toolkit) este o bibliotecă Python open-source pentru prelucrarea limbajului natural, creată la University of Pennsylvania la începutul anilor 2000. Oferă instrumente pentru tokenizare, stemming, etichetarea părților de vorbire și clasificare simplă, precum și acces la numeroase corpusuri de texte. NLTK este folosită mai ales în predare și cercetare; aplicațiile de producție se bazează adesea pe biblioteci precum spaCy sau pe modele de tip transformer.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulspaCy este o bibliotecă Python open-source pentru prelucrarea limbajului natural, dezvoltată de compania Explosion din Berlin. Împarte textele în cuvinte și propoziții, determină părțile de vorbire și formele de bază, analizează structura propozițiilor și recunoaște entități denumite, precum persoane, companii sau locuri. Sunt disponibile modele preantrenate pentru multe limbi, inclusiv germana. spaCy este concepută pentru viteză și pentru utilizare în aplicații reale, de exemplu pentru preprocesarea unor volume mari de documente.
Prelucrarea limbajului natural este ramura IA care permite calculatoarelor să analizeze, să înțeleagă și să genereze limbajul uman în text sau vorbire. Cuprinde sarcini precum traducerea, clasificarea, rezumarea, analiza sentimentelor și răspunsul la întrebări. Cândva dominau regulile și metodele statistice; astăzi domeniul este modelat de modelele lingvistice de mari dimensiuni.
Etichetarea părților de vorbire atribuie automat fiecărui cuvânt dintr-o propoziție categoria sa gramaticală, precum substantiv, verb, adjectiv sau prepoziție. Fiindcă multe cuvinte sunt ambigue („lucru” poate fi substantiv sau verb, „bine” poate fi adverb sau substantiv), metodele țin cont de contextul propoziției. Etichetarea POS este un pas clasic de preprocesare pentru analiza sintactică, extragerea de informații sau verificarea ortografică și este oferită de biblioteci precum spaCy și NLTK.
Gensim este o bibliotecă Python open-source pentru analiza unor colecții mari de texte. Este cunoscută pentru modelele de subiecte, precum LDA, pentru antrenarea vectorilor de cuvinte (de exemplu Word2Vec, FastText și Doc2Vec) și pentru compararea documentelor după similitudine. Deoarece Gensim prelucrează datele pe bucăți, poate gestiona și corpusuri care nu încap în memorie. O utilizare tipică: gruparea automată a mii de comentarii ale clienților după teme recurente.
