Gensim hija librerija Python open source għall-analiżi ta' ġbir kbir ta' testi. Hija magħrufa għal mudelli tas-suġġetti bħal LDA, għat-taħriġ ta' vetturi tal-kliem (pereżempju Word2Vec, FastText u Doc2Vec) u għat-tqabbil ta' dokumenti skont is-similarità. Peress li Gensim jipproċessa d-data f'porzjonijiet, jista' jittratta wkoll korpora li ma jdaħlux fil-memorja. Użu tipiku: jiġu miġbura awtomatikament eluf ta' kummenti tal-klijenti skont temi rikorrenti.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoIl-word embeddings jirrappreżentaw kliem bħala vetturi numeriċi sabiex kliem b'tifsiriet simili jkunu qrib xulxin fl-ispazju vettorjali, bħal “karozza” u “vettura”. Metodi bħal Word2Vec jew GloVe jitgħallmu dawn il-vetturi minn ammonti kbar ta' test. Kienu pass importanti fl-ipproċessar tal-lingwa, per eżempju għat-tfittxija jew il-klassifikazzjoni; il-mudelli lingwistiċi tal-lum jużaw embeddings kuntestwali li fihom kelma tiġi rappreżentata differenti skont is-sentenza.
NLTK (Natural Language Toolkit) hija librerija open-source ta' Python għall-ipproċessar tal-lingwa naturali, maħluqa fl-Università ta' Pennsylvania fil-bidu tas-snin 2000. Tipprovdi għodod għat-tokenizzazzjoni, l-istemming, it-tikkettjar tal-partijiet tad-diskors u klassifikazzjoni sempliċi, kif ukoll aċċess għal numru kbir ta' korpora tat-test. L-NLTK jintuża l-aktar fit-tagħlim u r-riċerka; applikazzjonijiet tal-produzzjoni spiss jiddependu fuq libreriji bħal spaCy jew fuq mudelli transformer.
spaCy hija librerija open-source ta' Python għall-ipproċessar tal-lingwa naturali, żviluppata mill-kumpanija Explosion ibbażata f'Berlin. Taqsam it-testi f'kliem u sentenzi, tiddetermina l-partijiet tad-diskors u l-forom bażiċi, tanalizza l-istruttura tas-sentenza u tagħraf entitajiet imsemmija bħal persuni, kumpaniji jew postijiet. Mudelli mħarrġa minn qabel huma disponibbli għal ħafna lingwi, inkluż il-Ġermaniż. spaCy hija mfassla għall-veloċità u għall-użu f'applikazzjonijiet reali, per eżempju biex jiġu ppreproċessati volumi kbar ta' dokumenti.
L-ipproċessar tal-lingwa naturali huwa l-fergħa tal-IA li tippermetti lill-kompjuters janalizzaw, jifhmu u jiġġeneraw lingwa umana fit-test jew fid-diskors. Ikopri kompiti bħat-traduzzjoni, il-klassifikazzjoni, is-sommarju, l-analiżi tas-sentiment u t-tweġiba għal mistoqsijiet. Darba kienu jiddominaw ir-regoli u l-metodi statistiċi; illum il-qasam huwa ffurmat mill-mudelli lingwistiċi kbar.
