NLTK (Natural Language Toolkit) je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, vytvořená na University of Pennsylvania na začátku 21. století. Nabízí nástroje pro tokenizaci, stemming, určování slovních druhů a jednoduchou klasifikaci i přístup k mnoha textovým korpusům. NLTK se používá hlavně ve výuce a výzkumu; produkční aplikace se často opírají o knihovny, jako je spaCy, nebo o modely typu transformer.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demospaCy je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, kterou vyvíjí berlínská společnost Explosion. Rozdělí texty na slova a věty, určí slovní druhy a základní tvary, analyzuje stavbu vět a rozpoznává pojmenované entity, jako jsou osoby, firmy nebo místa. K dispozici jsou předtrénované modely pro mnoho jazyků včetně němčiny. spaCy je navržena pro rychlost a nasazení ve skutečných aplikacích, například pro předzpracování velkých objemů dokumentů.
Zpracování přirozeného jazyka je odvětví AI, které počítačům umožňuje analyzovat, chápat a vytvářet lidský jazyk v textu nebo řeči. Zahrnuje úlohy, jako je překlad, klasifikace, sumarizace, analýza sentimentu a odpovídání na otázky. Dříve dominovala pravidla a statistické metody; dnes obor utvářejí velké jazykové modely.
Určování slovních druhů automaticky přiřazuje každému slovu ve větě jeho gramatickou kategorii, například podstatné jméno, sloveso, přídavné jméno nebo předložka. Protože mnoho slov je víceznačných („žena“ jako podstatné jméno, „bez“ jako předložka nebo rostlina), metody zohledňují kontext věty. POS tagging je klasický předzpracovací krok pro syntaktickou analýzu, extrakci informací nebo kontrolu pravopisu a nabízejí jej knihovny jako spaCy a NLTK.
Gensim je open-source knihovna v Pythonu pro analýzu velkých sbírek textů. Je známá tematickými modely, jako je LDA, trénováním slovních vektorů (například Word2Vec, FastText a Doc2Vec) a porovnáváním dokumentů podle podobnosti. Protože Gensim zpracovává data po částech, zvládne i korpusy, které se nevejdou do paměti. Typické využití: automatické seskupení tisíců zákaznických komentářů podle opakujících se témat.
