NLTK (Natural Language Toolkit) ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, kas izveidota Pensilvānijas Universitātē 2000. gadu sākumā. Tā nodrošina rīkus tokenizācijai, celmošanai, vārdšķiru marķēšanai un vienkāršai klasifikācijai, kā arī piekļuvi daudziem teksta korpusiem. NLTK galvenokārt izmanto mācībās un pētniecībā; produkcijas lietojumprogrammas bieži balstās uz tādām bibliotēkām kā spaCy vai uz transformeru modeļiem.
spaCy ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, ko izstrādā Berlīnes uzņēmums Explosion. Tā sadala tekstus vārdos un teikumos, nosaka vārdšķiras un pamatformas, analizē teikuma struktūru un atpazīst nosauktās entītijas, piemēram, personas, uzņēmumus vai vietas. Iepriekš apmācīti modeļi ir pieejami daudzām valodām, tostarp vācu valodai. spaCy ir izstrādāta ātrumam un lietošanai reālās lietojumprogrammās, piemēram, lielu dokumentu apjomu priekšapstrādei.
Dabiskās valodas apstrāde ir MI nozare, kas ļauj datoriem analizēt, saprast un ģenerēt cilvēku valodu tekstā vai runā. Tā aptver uzdevumus, piemēram, tulkošanu, klasifikāciju, kopsavilkumu veidošanu, noskaņojuma analīzi un atbilžu sniegšanu uz jautājumiem. Kādreiz dominēja noteikumi un statistikas metodes; mūsdienās nozari veido lielie valodas modeļi.
Vārdšķiru marķēšana automātiski piešķir katram teikuma vārdam tā gramatisko kategoriju, piemēram, lietvārds, darbības vārds, īpašības vārds vai prievārds. Tā kā daudzi vārdi ir neviennozīmīgi („book” kā lietvārds vai darbības vārds, „light” kā īpašības vārds vai lietvārds), metodes ņem vērā teikuma kontekstu. POS marķēšana ir klasisks priekšapstrādes solis sintaktiskajai analīzei, informācijas izgūšanai vai pareizrakstības pārbaudei, un to piedāvā bibliotēkas, piemēram, spaCy un NLTK.
Gensim ir atvērtā pirmkoda Python bibliotēka liela teksta apjoma analīzei. Tā pazīstama ar tēmu modeļiem, piemēram, LDA, vārdu vektoru apmācību (piemēram, Word2Vec, FastText un Doc2Vec) un dokumentu salīdzināšanu pēc līdzības. Tā kā Gensim datus apstrādā pa daļām, tā var strādāt arī ar korpusiem, kas neietilpst atmiņā. Tipisks lietojums: tūkstošiem klientu komentāru automātiski sagrupēt pēc atkārtotām tēmām.
