spaCy je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, kterou vyvíjí berlínská společnost Explosion. Rozdělí texty na slova a věty, určí slovní druhy a základní tvary, analyzuje stavbu vět a rozpoznává pojmenované entity, jako jsou osoby, firmy nebo místa. K dispozici jsou předtrénované modely pro mnoho jazyků včetně němčiny. spaCy je navržena pro rychlost a nasazení ve skutečných aplikacích, například pro předzpracování velkých objemů dokumentů.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoNLTK (Natural Language Toolkit) je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, vytvořená na University of Pennsylvania na začátku 21. století. Nabízí nástroje pro tokenizaci, stemming, určování slovních druhů a jednoduchou klasifikaci i přístup k mnoha textovým korpusům. NLTK se používá hlavně ve výuce a výzkumu; produkční aplikace se často opírají o knihovny, jako je spaCy, nebo o modely typu transformer.
Rozpoznávání pojmenovaných entit (NER) je technika zpracování přirozeného jazyka, která v textu nachází jména osob, firem a míst i data nebo částky a každému přiřadí kategorii. Převádí volný text na strukturovaná data. Příklad: z e-mailu se automaticky vyextrahuje firma odesílatele, kontaktní osoba, datum dodání a částka faktury a přenesou se do CRM.
Závislostní syntaktická analýza (dependency parsing) je technika zpracování přirozeného jazyka, která znázorňuje gramatickou stavbu věty jako závislosti mezi slovy. Každé slovo je propojeno s řídicím slovem, například podmět a předmět se slovesem: ve větě „Zákazník objedná dvě lampy“ závisejí „zákazník“ a „lampy“ na slovesu „objedná“. Pomáhá to při extrakci informací, například při zjišťování, kdo co udělal.
Určování slovních druhů automaticky přiřazuje každému slovu ve větě jeho gramatickou kategorii, například podstatné jméno, sloveso, přídavné jméno nebo předložka. Protože mnoho slov je víceznačných („žena“ jako podstatné jméno, „bez“ jako předložka nebo rostlina), metody zohledňují kontext věty. POS tagging je klasický předzpracovací krok pro syntaktickou analýzu, extrakci informací nebo kontrolu pravopisu a nabízejí jej knihovny jako spaCy a NLTK.
