Gensim on avatud lähtekoodiga Pythoni teek suurte tekstikogude analüüsimiseks. See on tuntud teemamudelite, nagu LDA, sõnavektorite treenimise (näiteks Word2Vec, FastText ja Doc2Vec) ning dokumentide sarnasuse alusel võrdlemise poolest. Kuna Gensim töötleb andmeid tükkhaaval, saab see hakkama ka korpustega, mis mällu ei mahu. Tüüpiline kasutus: tuhandete klienditagasisidede automaatne rühmitamine korduvate teemade järgi.
Sõnaembeddingud esitavad sõnu arvuvektoritena nii, et sarnase tähendusega sõnad asuvad vektorruumis lähestikku, näiteks „auto“ ja „sõiduk“. Meetodid nagu Word2Vec või GloVe õpivad need vektorid suurtest tekstihulkadest. Need olid keeletöötluses oluline samm, näiteks otsingu või klassifitseerimise jaoks; tänapäeva keelemudelid kasutavad kontekstipõhiseid embeddinguid, kus sõna esitatakse sõltuvalt lausest erinevalt.
NLTK (Natural Language Toolkit) on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mis loodi 2000. aastate alguses Pennsylvania Ülikoolis. See pakub tööriistu tokeniseerimiseks, sõnatüvede leidmiseks, sõnaliigi märgendamiseks ja lihtsaks klassifitseerimiseks ning juurdepääsu arvukatele tekstikorpustele. NLTK-d kasutatakse peamiselt õppetöös ja teaduses; tootmisrakendused tuginevad sageli sellistele teekidele nagu spaCy või transformer-mudelitele.
spaCy on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mille arendab Berliinis asuv ettevõte Explosion. See jagab tekstid sõnadeks ja lauseteks, määrab sõnaliigid ja algvormid, analüüsib lausestruktuuri ning tuvastab nimetatud olemid, nagu inimesed, ettevõtted või kohad. Eeltreenitud mudelid on saadaval paljudele keeltele, sealhulgas saksa keelele. spaCy on loodud kiiruse ja päris rakenduste jaoks, näiteks suurte dokumendimahtude eeltöötluseks.
Loomuliku keele töötlus on TI haru, mis võimaldab arvutitel analüüsida, mõista ja genereerida inimkeelt tekstis või kõnes. See hõlmab ülesandeid nagu tõlge, klassifitseerimine, kokkuvõtete tegemine, meelestatuse analüüs ja küsimustele vastamine. Kunagi domineerisid reeglid ja statistilised meetodid; tänapäeval kujundavad valdkonda suured keelemudelid.
