NLTK (Natural Language Toolkit) je odprtokodna knjižnica za Python za obdelavo naravnega jezika, nastala na Univerzi v Pensilvaniji v zgodnjih letih 2000. Nudi orodja za tokenizacijo, korenjenje, oblikoslovno označevanje in preprosto razvrščanje ter dostop do številnih besedilnih korpusov. NLTK se uporablja predvsem v izobraževanju in raziskavah; produkcijske aplikacije pogosto temeljijo na knjižnicah, kot je spaCy, ali na modelih transformer.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevspaCy je odprtokodna knjižnica za Python za obdelavo naravnega jezika, ki jo razvija berlinsko podjetje Explosion. Besedila razdeli na besede in stavke, določi besedne vrste in osnovne oblike, analizira stavčno zgradbo ter prepozna poimenovane entitete, kot so osebe, podjetja ali kraji. Vnaprej naučeni modeli so na voljo za številne jezike, vključno z nemščino. spaCy je zasnovan za hitrost in uporabo v resničnih aplikacijah, na primer za predobdelavo velikih količin dokumentov.
Obdelava naravnega jezika je veja UI, ki računalnikom omogoča analizo, razumevanje in generiranje človeškega jezika v besedilu ali govoru. Zajema naloge, kot so prevajanje, razvrščanje, povzemanje, analiza sentimenta in odgovarjanje na vprašanja. Nekoč so prevladovala pravila in statistične metode; danes področje oblikujejo veliki jezikovni modeli.
Oblikoslovno označevanje vsaki besedi v stavku samodejno dodeli slovnično kategorijo, kot so samostalnik, glagol, pridevnik ali predlog. Ker so številne besede večpomenske (angleško „book“ kot samostalnik ali glagol, „light“ kot pridevnik ali samostalnik), metode upoštevajo kontekst stavka. Oblikoslovno označevanje je klasičen korak predobdelave za razčlenjevanje, izločanje informacij ali preverjanje črkovanja, ponujajo pa ga knjižnice, kot sta spaCy in NLTK.
Gensim je odprtokodna knjižnica v jeziku Python za analizo velikih zbirk besedil. Znana je po tematskih modelih, kot je LDA, po učenju besednih vektorjev (na primer Word2Vec, FastText in Doc2Vec) in po primerjavi dokumentov glede na podobnost. Ker Gensim podatke obdeluje po delih, lahko obravnava tudi korpuse, ki ne gredo v pomnilnik. Tipična uporaba: samodejno razvrščanje tisočev komentarjev strank po ponavljajočih se temah.
