NLTK (Natural Language Toolkit) on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mis loodi 2000. aastate alguses Pennsylvania Ülikoolis. See pakub tööriistu tokeniseerimiseks, sõnatüvede leidmiseks, sõnaliigi märgendamiseks ja lihtsaks klassifitseerimiseks ning juurdepääsu arvukatele tekstikorpustele. NLTK-d kasutatakse peamiselt õppetöös ja teaduses; tootmisrakendused tuginevad sageli sellistele teekidele nagu spaCy või transformer-mudelitele.
spaCy on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mille arendab Berliinis asuv ettevõte Explosion. See jagab tekstid sõnadeks ja lauseteks, määrab sõnaliigid ja algvormid, analüüsib lausestruktuuri ning tuvastab nimetatud olemid, nagu inimesed, ettevõtted või kohad. Eeltreenitud mudelid on saadaval paljudele keeltele, sealhulgas saksa keelele. spaCy on loodud kiiruse ja päris rakenduste jaoks, näiteks suurte dokumendimahtude eeltöötluseks.
Loomuliku keele töötlus on TI haru, mis võimaldab arvutitel analüüsida, mõista ja genereerida inimkeelt tekstis või kõnes. See hõlmab ülesandeid nagu tõlge, klassifitseerimine, kokkuvõtete tegemine, meelestatuse analüüs ja küsimustele vastamine. Kunagi domineerisid reeglid ja statistilised meetodid; tänapäeval kujundavad valdkonda suured keelemudelid.
Sõnaliigi märgendamine määrab automaatselt lause igale sõnale selle grammatilise kategooria, näiteks nimisõna, tegusõna, omadussõna või eessõna. Kuna paljud sõnad on mitmetähenduslikud (inglise keeles „book“ nimi- või tegusõnana, „light“ omadus- või nimisõnana), võtavad meetodid arvesse lause konteksti. POS-märgendamine on klassikaline eeltöötlussamm süntaksianalüüsil, teabe eraldamisel või õigekirjakontrollis ning seda pakuvad teegid nagu spaCy ja NLTK.
Gensim on avatud lähtekoodiga Pythoni teek suurte tekstikogude analüüsimiseks. See on tuntud teemamudelite, nagu LDA, sõnavektorite treenimise (näiteks Word2Vec, FastText ja Doc2Vec) ning dokumentide sarnasuse alusel võrdlemise poolest. Kuna Gensim töötleb andmeid tükkhaaval, saab see hakkama ka korpustega, mis mällu ei mahu. Tüüpiline kasutus: tuhandete klienditagasisidede automaatne rühmitamine korduvate teemade järgi.
