Gensim ir atvērtā pirmkoda Python bibliotēka liela teksta apjoma analīzei. Tā pazīstama ar tēmu modeļiem, piemēram, LDA, vārdu vektoru apmācību (piemēram, Word2Vec, FastText un Doc2Vec) un dokumentu salīdzināšanu pēc līdzības. Tā kā Gensim datus apstrādā pa daļām, tā var strādāt arī ar korpusiem, kas neietilpst atmiņā. Tipisks lietojums: tūkstošiem klientu komentāru automātiski sagrupēt pēc atkārtotām tēmām.
Vārdu iegultnes attēlo vārdus kā skaitliskus vektorus, lai vārdi ar līdzīgu nozīmi atrastos tuvu viens otram vektoru telpā, piemēram, „automašīna” un „transportlīdzeklis”. Metodes, piemēram, Word2Vec vai GloVe, šos vektorus apgūst no liela teksta apjoma. Tās bija svarīgs solis valodas apstrādē, piemēram, meklēšanai vai klasifikācijai; mūsdienu valodas modeļi izmanto kontekstuālās iegultnes, kurās vārds tiek attēlots atšķirīgi atkarībā no teikuma.
NLTK (Natural Language Toolkit) ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, kas izveidota Pensilvānijas Universitātē 2000. gadu sākumā. Tā nodrošina rīkus tokenizācijai, celmošanai, vārdšķiru marķēšanai un vienkāršai klasifikācijai, kā arī piekļuvi daudziem teksta korpusiem. NLTK galvenokārt izmanto mācībās un pētniecībā; produkcijas lietojumprogrammas bieži balstās uz tādām bibliotēkām kā spaCy vai uz transformeru modeļiem.
spaCy ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, ko izstrādā Berlīnes uzņēmums Explosion. Tā sadala tekstus vārdos un teikumos, nosaka vārdšķiras un pamatformas, analizē teikuma struktūru un atpazīst nosauktās entītijas, piemēram, personas, uzņēmumus vai vietas. Iepriekš apmācīti modeļi ir pieejami daudzām valodām, tostarp vācu valodai. spaCy ir izstrādāta ātrumam un lietošanai reālās lietojumprogrammās, piemēram, lielu dokumentu apjomu priekšapstrādei.
Dabiskās valodas apstrāde ir MI nozare, kas ļauj datoriem analizēt, saprast un ģenerēt cilvēku valodu tekstā vai runā. Tā aptver uzdevumus, piemēram, tulkošanu, klasifikāciju, kopsavilkumu veidošanu, noskaņojuma analīzi un atbilžu sniegšanu uz jautājumiem. Kādreiz dominēja noteikumi un statistikas metodes; mūsdienās nozari veido lielie valodas modeļi.
