NLTK (Natural Language Toolkit) on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja se luotiin Pennsylvanian yliopistossa 2000-luvun alussa. Se tarjoaa työkaluja tokenisointiin, perusmuotojen tunnistukseen (stemming), sanaluokkien merkintään ja yksinkertaiseen luokitteluun sekä pääsyn lukuisiin tekstikorpuksiin. NLTK:ta käytetään pääasiassa opetuksessa ja tutkimuksessa; tuotantosovellukset nojaavat usein kirjastoihin, kuten spaCy, tai transformer-malleihin.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demospaCy on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja sen on kehittänyt berliiniläinen Explosion-yhtiö. Se jakaa tekstit sanoiksi ja lauseiksi, määrittää sanaluokat ja perusmuodot, analysoi lauserakenteen ja tunnistaa nimettyjä entiteettejä, kuten henkilöitä, yrityksiä tai paikkoja. Esikoulutettuja malleja on saatavilla monille kielille, myös saksalle. spaCy on suunniteltu nopeaksi ja käytettäväksi oikeissa sovelluksissa, esimerkiksi suurten asiakirjamäärien esikäsittelyyn.
Luonnollisen kielen käsittely on tekoälyn osa-alue, joka mahdollistaa tietokoneiden analysoida, ymmärtää ja tuottaa ihmiskieltä tekstinä tai puheena. Se kattaa tehtäviä, kuten kääntäminen, luokittelu, tiivistäminen, sentimenttianalyysi ja kysymyksiin vastaaminen. Aiemmin vallitsivat sääntö- ja tilastomenetelmät; nykyään alaa muovaavat suuret kielimallit.
Sanaluokkien merkintä (part-of-speech tagging) liittää automaattisesti jokaiseen lauseen sanaan sen kieliopillisen luokan, kuten substantiivi, verbi, adjektiivi tai prepositio. Koska monet sanat ovat monitulkintaisia (esimerkiksi ”kuusi” numerona tai puuna), menetelmät huomioivat lauseyhteyden. POS-merkintä on klassinen esikäsittelyvaihe jäsennykselle, tiedonpoiminnalle tai oikoluvulle, ja sitä tarjoavat kirjastot, kuten spaCy ja NLTK.
Gensim on avoimen lähdekoodin Python-kirjasto suurten tekstikokoelmien analysointiin. Se tunnetaan aihemalleista, kuten LDA:sta, sanavektorien kouluttamisesta (esimerkiksi Word2Vec, FastText ja Doc2Vec) ja dokumenttien vertailusta samankaltaisuuden perusteella. Koska Gensim käsittelee dataa osissa, se selviää myös korpuksista, jotka eivät mahdu muistiin. Tyypillinen käyttö: tuhansien asiakaspalautteiden automaattinen ryhmittely toistuvien teemojen mukaan.
