Určování slovních druhů automaticky přiřazuje každému slovu ve větě jeho gramatickou kategorii, například podstatné jméno, sloveso, přídavné jméno nebo předložka. Protože mnoho slov je víceznačných („žena“ jako podstatné jméno, „bez“ jako předložka nebo rostlina), metody zohledňují kontext věty. POS tagging je klasický předzpracovací krok pro syntaktickou analýzu, extrakci informací nebo kontrolu pravopisu a nabízejí jej knihovny jako spaCy a NLTK.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoZávislostní syntaktická analýza (dependency parsing) je technika zpracování přirozeného jazyka, která znázorňuje gramatickou stavbu věty jako závislosti mezi slovy. Každé slovo je propojeno s řídicím slovem, například podmět a předmět se slovesem: ve větě „Zákazník objedná dvě lampy“ závisejí „zákazník“ a „lampy“ na slovesu „objedná“. Pomáhá to při extrakci informací, například při zjišťování, kdo co udělal.
spaCy je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, kterou vyvíjí berlínská společnost Explosion. Rozdělí texty na slova a věty, určí slovní druhy a základní tvary, analyzuje stavbu vět a rozpoznává pojmenované entity, jako jsou osoby, firmy nebo místa. K dispozici jsou předtrénované modely pro mnoho jazyků včetně němčiny. spaCy je navržena pro rychlost a nasazení ve skutečných aplikacích, například pro předzpracování velkých objemů dokumentů.
NLTK (Natural Language Toolkit) je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, vytvořená na University of Pennsylvania na začátku 21. století. Nabízí nástroje pro tokenizaci, stemming, určování slovních druhů a jednoduchou klasifikaci i přístup k mnoha textovým korpusům. NLTK se používá hlavně ve výuce a výzkumu; produkční aplikace se často opírají o knihovny, jako je spaCy, nebo o modely typu transformer.
Zpracování přirozeného jazyka je odvětví AI, které počítačům umožňuje analyzovat, chápat a vytvářet lidský jazyk v textu nebo řeči. Zahrnuje úlohy, jako je překlad, klasifikace, sumarizace, analýza sentimentu a odpovídání na otázky. Dříve dominovala pravidla a statistické metody; dnes obor utvářejí velké jazykové modely.
