spaCy je odprtokodna knjižnica za Python za obdelavo naravnega jezika, ki jo razvija berlinsko podjetje Explosion. Besedila razdeli na besede in stavke, določi besedne vrste in osnovne oblike, analizira stavčno zgradbo ter prepozna poimenovane entitete, kot so osebe, podjetja ali kraji. Vnaprej naučeni modeli so na voljo za številne jezike, vključno z nemščino. spaCy je zasnovan za hitrost in uporabo v resničnih aplikacijah, na primer za predobdelavo velikih količin dokumentov.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevNLTK (Natural Language Toolkit) je odprtokodna knjižnica za Python za obdelavo naravnega jezika, nastala na Univerzi v Pensilvaniji v zgodnjih letih 2000. Nudi orodja za tokenizacijo, korenjenje, oblikoslovno označevanje in preprosto razvrščanje ter dostop do številnih besedilnih korpusov. NLTK se uporablja predvsem v izobraževanju in raziskavah; produkcijske aplikacije pogosto temeljijo na knjižnicah, kot je spaCy, ali na modelih transformer.
Prepoznavanje poimenovanih entitet (NER) je tehnika obdelave naravnega jezika, ki v besedilu najde imena oseb, podjetij in krajev ter datume ali zneske in vsakega uvrsti v kategorijo. Prosto besedilo pretvori v strukturirane podatke. Primer: podjetje pošiljatelja, kontaktna oseba, datum dobave in znesek računa se samodejno izluščijo iz e-poštnega sporočila in prenesejo v sistem CRM.
Odvisnostna razčlenitev (dependency parsing) je tehnika obdelave naravnega jezika, ki slovnično zgradbo stavka predstavi kot odvisnosti med besedami. Vsaka beseda je povezana z nadrejeno besedo, na primer osebek in predmet s povedkom: v stavku „Stranka naroči dve svetilki“ sta „stranka“ in „svetilki“ odvisni od „naroči“. To pomaga pri izluščanju informacij, na primer pri ugotavljanju, kdo je kaj storil.
Oblikoslovno označevanje vsaki besedi v stavku samodejno dodeli slovnično kategorijo, kot so samostalnik, glagol, pridevnik ali predlog. Ker so številne besede večpomenske (angleško „book“ kot samostalnik ali glagol, „light“ kot pridevnik ali samostalnik), metode upoštevajo kontekst stavka. Oblikoslovno označevanje je klasičen korak predobdelave za razčlenjevanje, izločanje informacij ali preverjanje črkovanja, ponujajo pa ga knjižnice, kot sta spaCy in NLTK.
