spaCy je Python biblioteka otvorenog koda za obradu prirodnog jezika koju razvija berlinska tvrtka Explosion. Dijeli tekstove na riječi i rečenice, određuje vrste riječi i osnovne oblike, analizira strukturu rečenica i prepoznaje imenovane entitete poput osoba, tvrtki ili mjesta. Unaprijed trenirani modeli dostupni su za mnoge jezike, uključujući njemački. spaCy je osmišljen za brzinu i za upotrebu u stvarnim aplikacijama, primjerice za predobradu velikih količina dokumenata.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoNLTK (Natural Language Toolkit) je Python biblioteka otvorenog koda za obradu prirodnog jezika, nastala na Sveučilištu Pennsylvania početkom 2000-ih. Nudi alate za tokenizaciju, stemiranje, označivanje vrsta riječi i jednostavnu klasifikaciju te pristup brojnim korpusima tekstova. NLTK se uglavnom koristi u nastavi i istraživanju; produkcijske aplikacije često se oslanjaju na biblioteke poput spaCyja ili na transformerske modele.
Prepoznavanje imenovanih entiteta (NER) tehnika je obrade prirodnog jezika koja u tekstu pronalazi imena osoba, tvrtki i mjesta te datume ili iznose i svakom dodjeljuje kategoriju. Slobodan tekst pretvara u strukturirane podatke. Primjer: iz e-poruke se automatski izdvajaju tvrtka pošiljatelja, kontakt osoba, datum isporuke i iznos računa te prenose u CRM.
Sintaktička analiza ovisnosti (dependency parsing) tehnika je obrade prirodnog jezika koja gramatičku strukturu rečenice prikazuje kao ovisnosti među riječima. Svaka riječ povezana je s nadređenom riječju, primjerice subjekt i objekt s glagolom: u rečenici „Klijent naručuje dvije svjetiljke” „klijent” i „svjetiljke” ovise o „naručuje”. To pomaže pri izdvajanju informacija, primjerice za utvrđivanje tko je što učinio.
Označivanje vrsta riječi automatski svakoj riječi u rečenici dodjeljuje gramatičku kategoriju, poput imenice, glagola, pridjeva ili prijedloga. Budući da su mnoge riječi višeznačne (u engleskom „book“ kao imenica ili glagol, „light“ kao pridjev ili imenica), metode uzimaju u obzir kontekst rečenice. POS označivanje klasičan je korak predobrade za parsiranje, izdvajanje informacija ili provjeru pravopisa, a nude ga biblioteke poput spaCyja i NLTK-a.
