Označivanje vrsta riječi automatski svakoj riječi u rečenici dodjeljuje gramatičku kategoriju, poput imenice, glagola, pridjeva ili prijedloga. Budući da su mnoge riječi višeznačne (u engleskom „book“ kao imenica ili glagol, „light“ kao pridjev ili imenica), metode uzimaju u obzir kontekst rečenice. POS označivanje klasičan je korak predobrade za parsiranje, izdvajanje informacija ili provjeru pravopisa, a nude ga biblioteke poput spaCyja i NLTK-a.
Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.
Pokrenite demoSintaktička analiza ovisnosti (dependency parsing) tehnika je obrade prirodnog jezika koja gramatičku strukturu rečenice prikazuje kao ovisnosti među riječima. Svaka riječ povezana je s nadređenom riječju, primjerice subjekt i objekt s glagolom: u rečenici „Klijent naručuje dvije svjetiljke” „klijent” i „svjetiljke” ovise o „naručuje”. To pomaže pri izdvajanju informacija, primjerice za utvrđivanje tko je što učinio.
spaCy je Python biblioteka otvorenog koda za obradu prirodnog jezika koju razvija berlinska tvrtka Explosion. Dijeli tekstove na riječi i rečenice, određuje vrste riječi i osnovne oblike, analizira strukturu rečenica i prepoznaje imenovane entitete poput osoba, tvrtki ili mjesta. Unaprijed trenirani modeli dostupni su za mnoge jezike, uključujući njemački. spaCy je osmišljen za brzinu i za upotrebu u stvarnim aplikacijama, primjerice za predobradu velikih količina dokumenata.
NLTK (Natural Language Toolkit) je Python biblioteka otvorenog koda za obradu prirodnog jezika, nastala na Sveučilištu Pennsylvania početkom 2000-ih. Nudi alate za tokenizaciju, stemiranje, označivanje vrsta riječi i jednostavnu klasifikaciju te pristup brojnim korpusima tekstova. NLTK se uglavnom koristi u nastavi i istraživanju; produkcijske aplikacije često se oslanjaju na biblioteke poput spaCyja ili na transformerske modele.
Obrada prirodnog jezika grana je UI-ja koja računalima omogućuje analizu, razumijevanje i generiranje ljudskog jezika u tekstu ili govoru. Obuhvaća zadatke poput prevođenja, klasifikacije, sažimanja, analize sentimenta i odgovaranja na pitanja. Nekoć su dominirala pravila i statističke metode; danas to područje oblikuju veliki jezični modeli.
