NLTK (Natural Language Toolkit) – atvirojo kodo Python biblioteka natūralios kalbos apdorojimui, sukurta Pensilvanijos universitete 2000-ųjų pradžioje. Ji teikia įrankius tokenizavimui, kamienų išskyrimui, kalbos dalių žymėjimui ir paprastam klasifikavimui bei prieigą prie daugybės tekstų korpusų. NLTK daugiausia naudojama mokyme ir moksliniuose tyrimuose; gamybinėms programoms dažnai pasirenkamos tokios bibliotekos kaip spaCy arba transformerių modeliai.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąspaCy – atvirojo kodo Python biblioteka natūralios kalbos apdorojimui, kurią kuria Berlyne įsikūrusi bendrovė Explosion. Ji skaido tekstus į žodžius ir sakinius, nustato kalbos dalis ir pagrindines formas, analizuoja sakinio struktūrą ir atpažįsta įvardytus objektus, pavyzdžiui, asmenis, įmones ar vietas. Iš anksto apmokytų modelių yra daugeliui kalbų, įskaitant vokiečių. spaCy sukurta greičiui ir naudojimui realiose programose, pavyzdžiui, dideliems dokumentų kiekiams iš anksto apdoroti.
Natūralios kalbos apdorojimas – DI šaka, leidžianti kompiuteriams analizuoti, suprasti ir generuoti žmonių kalbą tekstu ar žodžiu. Jis apima tokias užduotis kaip vertimas, klasifikavimas, apibendrinimas, nuotaikų analizė ir atsakymai į klausimus. Kadaise dominavo taisyklės ir statistiniai metodai; šiandien sritį formuoja dideli kalbos modeliai.
Kalbos dalių žymėjimas automatiškai priskiria kiekvienam sakinio žodžiui jo gramatinę kategoriją, pavyzdžiui, daiktavardis, veiksmažodis, būdvardis ar prielinksnis. Kadangi daug žodžių yra daugiareikšmiai (anglų „book“ kaip daiktavardis arba veiksmažodis, „light“ kaip būdvardis arba daiktavardis), metodai atsižvelgia į sakinio kontekstą. POS žymėjimas – klasikinis išankstinio apdorojimo žingsnis sintaksės analizei, informacijos išgavimui ar rašybos tikrinimui, jį siūlo tokios bibliotekos kaip spaCy ir NLTK.
„Gensim“ yra atvirojo kodo „Python“ biblioteka dideliems tekstų rinkiniams analizuoti. Ji žinoma dėl temų modelių, tokių kaip LDA, žodžių vektorių mokymo (pavyzdžiui, „Word2Vec“, „FastText“ ir „Doc2Vec“) ir dokumentų palyginimo pagal panašumą. Kadangi „Gensim“ apdoroja duomenis dalimis, ji gali tvarkyti ir korpusus, kurie netelpa į atmintį. Tipinis naudojimas: tūkstančių klientų komentarų automatinis grupavimas pagal pasikartojančias temas.
