Riippuvuusjäsennys on luonnollisen kielen käsittelyn tekniikka, joka kuvaa lauseen kieliopillisen rakenteen sanojen välisinä riippuvuuksina. Jokainen sana liitetään hallitsevaan sanaan, esimerkiksi subjekti ja objekti verbiin: lauseessa ”Asiakas tilaa kaksi lamppua” sanat ”asiakas” ja ”lamppua” riippuvat sanasta ”tilaa”. Tämä auttaa tiedonpoiminnassa, esimerkiksi kun selvitetään, kuka teki mitä.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSanaluokkien merkintä (part-of-speech tagging) liittää automaattisesti jokaiseen lauseen sanaan sen kieliopillisen luokan, kuten substantiivi, verbi, adjektiivi tai prepositio. Koska monet sanat ovat monitulkintaisia (esimerkiksi ”kuusi” numerona tai puuna), menetelmät huomioivat lauseyhteyden. POS-merkintä on klassinen esikäsittelyvaihe jäsennykselle, tiedonpoiminnalle tai oikoluvulle, ja sitä tarjoavat kirjastot, kuten spaCy ja NLTK.
Luonnollisen kielen käsittely on tekoälyn osa-alue, joka mahdollistaa tietokoneiden analysoida, ymmärtää ja tuottaa ihmiskieltä tekstinä tai puheena. Se kattaa tehtäviä, kuten kääntäminen, luokittelu, tiivistäminen, sentimenttianalyysi ja kysymyksiin vastaaminen. Aiemmin vallitsivat sääntö- ja tilastomenetelmät; nykyään alaa muovaavat suuret kielimallit.
spaCy on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja sen on kehittänyt berliiniläinen Explosion-yhtiö. Se jakaa tekstit sanoiksi ja lauseiksi, määrittää sanaluokat ja perusmuodot, analysoi lauserakenteen ja tunnistaa nimettyjä entiteettejä, kuten henkilöitä, yrityksiä tai paikkoja. Esikoulutettuja malleja on saatavilla monille kielille, myös saksalle. spaCy on suunniteltu nopeaksi ja käytettäväksi oikeissa sovelluksissa, esimerkiksi suurten asiakirjamäärien esikäsittelyyn.
Koreferenssin ratkaisu on luonnollisen kielen käsittelyn tehtävä, joka tunnistaa, mitkä tekstin ilmaukset viittaavat samaan henkilöön, asiaan tai kysymykseen. Lauseissa ”Rouva Weber soitti. Hän pyytää soittamaan takaisin” järjestelmän on ymmärrettävä, että ”hän” tarkoittaa rouva Weberiä. Tämä on tärkeää tiivistelmissä, tiedonpoiminnassa ja chatboteissa, joiden on seurattava viittauksia usean lauseen tai keskustelun vuoron yli.
