„Gensim“ yra atvirojo kodo „Python“ biblioteka dideliems tekstų rinkiniams analizuoti. Ji žinoma dėl temų modelių, tokių kaip LDA, žodžių vektorių mokymo (pavyzdžiui, „Word2Vec“, „FastText“ ir „Doc2Vec“) ir dokumentų palyginimo pagal panašumą. Kadangi „Gensim“ apdoroja duomenis dalimis, ji gali tvarkyti ir korpusus, kurie netelpa į atmintį. Tipinis naudojimas: tūkstančių klientų komentarų automatinis grupavimas pagal pasikartojančias temas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąŽodžių įterpiniai pateikia žodžius kaip skaitinius vektorius, kad panašios prasmės žodžiai vektorių erdvėje būtų arti vienas kito, pavyzdžiui, „automobilis“ ir „transporto priemonė“. Tokie metodai kaip Word2Vec ar GloVe šiuos vektorius išmoksta iš didelių tekstų kiekių. Jie buvo svarbus žingsnis kalbos apdorojime, pavyzdžiui, paieškai ar klasifikavimui; šiandienos kalbos modeliai naudoja kontekstinius įterpinius, kuriuose žodis pateikiamas skirtingai, priklausomai nuo sakinio.
NLTK (Natural Language Toolkit) – atvirojo kodo Python biblioteka natūralios kalbos apdorojimui, sukurta Pensilvanijos universitete 2000-ųjų pradžioje. Ji teikia įrankius tokenizavimui, kamienų išskyrimui, kalbos dalių žymėjimui ir paprastam klasifikavimui bei prieigą prie daugybės tekstų korpusų. NLTK daugiausia naudojama mokyme ir moksliniuose tyrimuose; gamybinėms programoms dažnai pasirenkamos tokios bibliotekos kaip spaCy arba transformerių modeliai.
spaCy – atvirojo kodo Python biblioteka natūralios kalbos apdorojimui, kurią kuria Berlyne įsikūrusi bendrovė Explosion. Ji skaido tekstus į žodžius ir sakinius, nustato kalbos dalis ir pagrindines formas, analizuoja sakinio struktūrą ir atpažįsta įvardytus objektus, pavyzdžiui, asmenis, įmones ar vietas. Iš anksto apmokytų modelių yra daugeliui kalbų, įskaitant vokiečių. spaCy sukurta greičiui ir naudojimui realiose programose, pavyzdžiui, dideliems dokumentų kiekiams iš anksto apdoroti.
Natūralios kalbos apdorojimas – DI šaka, leidžianti kompiuteriams analizuoti, suprasti ir generuoti žmonių kalbą tekstu ar žodžiu. Jis apima tokias užduotis kaip vertimas, klasifikavimas, apibendrinimas, nuotaikų analizė ir atsakymai į klausimus. Kadaise dominavo taisyklės ir statistiniai metodai; šiandien sritį formuoja dideli kalbos modeliai.
