Gensim je odprtokodna knjižnica v jeziku Python za analizo velikih zbirk besedil. Znana je po tematskih modelih, kot je LDA, po učenju besednih vektorjev (na primer Word2Vec, FastText in Doc2Vec) in po primerjavi dokumentov glede na podobnost. Ker Gensim podatke obdeluje po delih, lahko obravnava tudi korpuse, ki ne gredo v pomnilnik. Tipična uporaba: samodejno razvrščanje tisočev komentarjev strank po ponavljajočih se temah.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevVložitve besed predstavljajo besede kot številske vektorje, tako da besede s podobnim pomenom ležijo blizu skupaj v vektorskem prostoru, na primer „avto“ in „vozilo“. Metode, kot sta Word2Vec ali GloVe, te vektorje naučijo iz velikih količin besedila. Bile so pomemben korak v obdelavi jezika, na primer za iskanje ali razvrščanje; današnji jezikovni modeli uporabljajo kontekstualne vložitve, pri katerih je beseda predstavljena drugače glede na stavek.
NLTK (Natural Language Toolkit) je odprtokodna knjižnica za Python za obdelavo naravnega jezika, nastala na Univerzi v Pensilvaniji v zgodnjih letih 2000. Nudi orodja za tokenizacijo, korenjenje, oblikoslovno označevanje in preprosto razvrščanje ter dostop do številnih besedilnih korpusov. NLTK se uporablja predvsem v izobraževanju in raziskavah; produkcijske aplikacije pogosto temeljijo na knjižnicah, kot je spaCy, ali na modelih transformer.
spaCy je odprtokodna knjižnica za Python za obdelavo naravnega jezika, ki jo razvija berlinsko podjetje Explosion. Besedila razdeli na besede in stavke, določi besedne vrste in osnovne oblike, analizira stavčno zgradbo ter prepozna poimenovane entitete, kot so osebe, podjetja ali kraji. Vnaprej naučeni modeli so na voljo za številne jezike, vključno z nemščino. spaCy je zasnovan za hitrost in uporabo v resničnih aplikacijah, na primer za predobdelavo velikih količin dokumentov.
Obdelava naravnega jezika je veja UI, ki računalnikom omogoča analizo, razumevanje in generiranje človeškega jezika v besedilu ali govoru. Zajema naloge, kot so prevajanje, razvrščanje, povzemanje, analiza sentimenta in odgovarjanje na vprašanja. Nekoč so prevladovala pravila in statistične metode; danes področje oblikujejo veliki jezikovni modeli.
