Sanaluokkien merkintä (part-of-speech tagging) liittää automaattisesti jokaiseen lauseen sanaan sen kieliopillisen luokan, kuten substantiivi, verbi, adjektiivi tai prepositio. Koska monet sanat ovat monitulkintaisia (esimerkiksi ”kuusi” numerona tai puuna), menetelmät huomioivat lauseyhteyden. POS-merkintä on klassinen esikäsittelyvaihe jäsennykselle, tiedonpoiminnalle tai oikoluvulle, ja sitä tarjoavat kirjastot, kuten spaCy ja NLTK.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoRiippuvuusjäsennys on luonnollisen kielen käsittelyn tekniikka, joka kuvaa lauseen kieliopillisen rakenteen sanojen välisinä riippuvuuksina. Jokainen sana liitetään hallitsevaan sanaan, esimerkiksi subjekti ja objekti verbiin: lauseessa ”Asiakas tilaa kaksi lamppua” sanat ”asiakas” ja ”lamppua” riippuvat sanasta ”tilaa”. Tämä auttaa tiedonpoiminnassa, esimerkiksi kun selvitetään, kuka teki mitä.
spaCy on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja sen on kehittänyt berliiniläinen Explosion-yhtiö. Se jakaa tekstit sanoiksi ja lauseiksi, määrittää sanaluokat ja perusmuodot, analysoi lauserakenteen ja tunnistaa nimettyjä entiteettejä, kuten henkilöitä, yrityksiä tai paikkoja. Esikoulutettuja malleja on saatavilla monille kielille, myös saksalle. spaCy on suunniteltu nopeaksi ja käytettäväksi oikeissa sovelluksissa, esimerkiksi suurten asiakirjamäärien esikäsittelyyn.
NLTK (Natural Language Toolkit) on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja se luotiin Pennsylvanian yliopistossa 2000-luvun alussa. Se tarjoaa työkaluja tokenisointiin, perusmuotojen tunnistukseen (stemming), sanaluokkien merkintään ja yksinkertaiseen luokitteluun sekä pääsyn lukuisiin tekstikorpuksiin. NLTK:ta käytetään pääasiassa opetuksessa ja tutkimuksessa; tuotantosovellukset nojaavat usein kirjastoihin, kuten spaCy, tai transformer-malleihin.
Luonnollisen kielen käsittely on tekoälyn osa-alue, joka mahdollistaa tietokoneiden analysoida, ymmärtää ja tuottaa ihmiskieltä tekstinä tai puheena. Se kattaa tehtäviä, kuten kääntäminen, luokittelu, tiivistäminen, sentimenttianalyysi ja kysymyksiin vastaaminen. Aiemmin vallitsivat sääntö- ja tilastomenetelmät; nykyään alaa muovaavat suuret kielimallit.
