NLTK (Natural Language Toolkit) je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorá vznikla na Pensylvánskej univerzite začiatkom 2000. rokov. Poskytuje nástroje na tokenizáciu, stemming, určovanie slovných druhov a jednoduchú klasifikáciu, ako aj prístup k mnohým textovým korpusom. NLTK sa používa najmä vo výučbe a výskume; produkčné aplikácie sa často opierajú o knižnice, ako je spaCy, alebo o modely transformer.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demospaCy je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorú vyvíja berlínska spoločnosť Explosion. Rozdeľuje texty na slová a vety, určuje slovné druhy a základné tvary, analyzuje stavbu viet a rozpoznáva pomenované entity, ako sú osoby, firmy alebo miesta. Predtrénované modely sú dostupné pre mnohé jazyky vrátane nemčiny. spaCy je navrhnutá na rýchlosť a použitie v reálnych aplikáciách, napríklad na predspracovanie veľkých objemov dokumentov.
Spracovanie prirodzeného jazyka je odvetvie AI, ktoré počítačom umožňuje analyzovať, chápať a generovať ľudský jazyk v texte alebo reči. Zahŕňa úlohy, ako sú preklad, klasifikácia, sumarizácia, analýza sentimentu a odpovedanie na otázky. Kedysi dominovali pravidlá a štatistické metódy; dnes oblasť formujú veľké jazykové modely.
Určovanie slovných druhov automaticky priraďuje každému slovu vo vete jeho gramatickú kategóriu, ako je podstatné meno, sloveso, prídavné meno alebo predložka. Keďže mnohé slová sú viacvýznamové („pila“ ako podstatné meno alebo ako tvar slovesa piť, „žila“ ako podstatné meno alebo ako tvar slovesa žiť), metódy zohľadňujú kontext vety. POS tagging je klasickým predspracovateľským krokom pre syntaktickú analýzu, extrakciu informácií alebo kontrolu pravopisu a ponúkajú ho knižnice ako spaCy a NLTK.
Gensim je open-source knižnica v jazyku Python na analýzu veľkých zbierok textov. Je známa tematickými modelmi, ako je LDA, trénovaním slovných vektorov (napríklad Word2Vec, FastText a Doc2Vec) a porovnávaním dokumentov podľa podobnosti. Keďže Gensim spracúva údaje po častiach, zvládne aj korpusy, ktoré sa nezmestia do pamäte. Typické použitie: automatické zoskupenie tisícok zákazníckych komentárov podľa opakujúcich sa tém.
