spaCy je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorú vyvíja berlínska spoločnosť Explosion. Rozdeľuje texty na slová a vety, určuje slovné druhy a základné tvary, analyzuje stavbu viet a rozpoznáva pomenované entity, ako sú osoby, firmy alebo miesta. Predtrénované modely sú dostupné pre mnohé jazyky vrátane nemčiny. spaCy je navrhnutá na rýchlosť a použitie v reálnych aplikáciách, napríklad na predspracovanie veľkých objemov dokumentov.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoNLTK (Natural Language Toolkit) je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorá vznikla na Pensylvánskej univerzite začiatkom 2000. rokov. Poskytuje nástroje na tokenizáciu, stemming, určovanie slovných druhov a jednoduchú klasifikáciu, ako aj prístup k mnohým textovým korpusom. NLTK sa používa najmä vo výučbe a výskume; produkčné aplikácie sa často opierajú o knižnice, ako je spaCy, alebo o modely transformer.
Rozpoznávanie pomenovaných entít (NER, named entity recognition) je technika spracovania prirodzeného jazyka, ktorá v texte nájde mená osôb, firiem a miest, ako aj dátumy alebo sumy, a každej priradí kategóriu. Mení voľný text na štruktúrované údaje. Príklad: z e-mailu sa automaticky vyberie firma odosielateľa, kontaktná osoba, dátum dodania a suma faktúry a prenesú sa do CRM.
Závislostná syntaktická analýza (dependency parsing) je technika spracovania prirodzeného jazyka, ktorá zobrazuje gramatickú štruktúru vety ako závislosti medzi slovami. Každé slovo je prepojené s nadradeným slovom, napríklad podmet a predmet so slovesom: vo vete „Zákazník objednáva dve lampy“ závisia „zákazník“ a „lampy“ od slovesa „objednáva“. To pomáha pri extrakcii informácií, napríklad pri zistení, kto čo urobil.
Určovanie slovných druhov automaticky priraďuje každému slovu vo vete jeho gramatickú kategóriu, ako je podstatné meno, sloveso, prídavné meno alebo predložka. Keďže mnohé slová sú viacvýznamové („pila“ ako podstatné meno alebo ako tvar slovesa piť, „žila“ ako podstatné meno alebo ako tvar slovesa žiť), metódy zohľadňujú kontext vety. POS tagging je klasickým predspracovateľským krokom pre syntaktickú analýzu, extrakciu informácií alebo kontrolu pravopisu a ponúkajú ho knižnice ako spaCy a NLTK.
