Gensim je open-source Python biblioteka za analizu velikih zbirki tekstova. Poznata je po tematskim modelima poput LDA, treniranju vektora riječi (primjerice Word2Vec, FastText i Doc2Vec) i usporedbi dokumenata prema sličnosti. Budući da Gensim obrađuje podatke u dijelovima, može raditi i s korpusima koji ne stanu u memoriju. Tipična primjena: automatsko grupiranje tisuća komentara klijenata prema ponavljajućim temama.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoUgradnje riječi prikazuju riječi kao numeričke vektore tako da riječi sličnog značenja leže blizu u vektorskom prostoru, primjerice „auto“ i „vozilo“. Metode poput Word2Veca ili GloVea uče te vektore iz velikih količina teksta. Bile su važan korak u obradi jezika, primjerice za pretraživanje ili klasifikaciju; današnji jezični modeli koriste kontekstualne ugradnje u kojima se riječ prikazuje drukčije ovisno o rečenici.
NLTK (Natural Language Toolkit) je Python biblioteka otvorenog koda za obradu prirodnog jezika, nastala na Sveučilištu Pennsylvania početkom 2000-ih. Nudi alate za tokenizaciju, stemiranje, označivanje vrsta riječi i jednostavnu klasifikaciju te pristup brojnim korpusima tekstova. NLTK se uglavnom koristi u nastavi i istraživanju; produkcijske aplikacije često se oslanjaju na biblioteke poput spaCyja ili na transformerske modele.
spaCy je Python biblioteka otvorenog koda za obradu prirodnog jezika koju razvija berlinska tvrtka Explosion. Dijeli tekstove na riječi i rečenice, određuje vrste riječi i osnovne oblike, analizira strukturu rečenica i prepoznaje imenovane entitete poput osoba, tvrtki ili mjesta. Unaprijed trenirani modeli dostupni su za mnoge jezike, uključujući njemački. spaCy je osmišljen za brzinu i za upotrebu u stvarnim aplikacijama, primjerice za predobradu velikih količina dokumenata.
Obrada prirodnog jezika grana je UI-ja koja računalima omogućuje analizu, razumijevanje i generiranje ljudskog jezika u tekstu ili govoru. Obuhvaća zadatke poput prevođenja, klasifikacije, sažimanja, analize sentimenta i odgovaranja na pitanja. Nekoć su dominirala pravila i statističke metode; danas to područje oblikuju veliki jezični modeli.
