Sanasto

spaCy

Mikä on spaCy?

spaCy on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja sen on kehittänyt berliiniläinen Explosion-yhtiö. Se jakaa tekstit sanoiksi ja lauseiksi, määrittää sanaluokat ja perusmuodot, analysoi lauserakenteen ja tunnistaa nimettyjä entiteettejä, kuten henkilöitä, yrityksiä tai paikkoja. Esikoulutettuja malleja on saatavilla monille kielille, myös saksalle. spaCy on suunniteltu nopeaksi ja käytettäväksi oikeissa sovelluksissa, esimerkiksi suurten asiakirjamäärien esikäsittelyyn.

Aiheet

NLP
Python
avoin lähdekoodi

Kokeile KI.ordoa

Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.

Aloita demo

← Kaikki termit

Liittyvät termit

NLTK

NLTK (Natural Language Toolkit) on avoimen lähdekoodin Python-kirjasto luonnollisen kielen käsittelyyn, ja se luotiin Pennsylvanian yliopistossa 2000-luvun alussa. Se tarjoaa työkaluja tokenisointiin, perusmuotojen tunnistukseen (stemming), sanaluokkien merkintään ja yksinkertaiseen luokitteluun sekä pääsyn lukuisiin tekstikorpuksiin. NLTK:ta käytetään pääasiassa opetuksessa ja tutkimuksessa; tuotantosovellukset nojaavat usein kirjastoihin, kuten spaCy, tai transformer-malleihin.

Python
kielenkäsittely
+1

Nimettyjen entiteettien tunnistus (NER)

Nimettyjen entiteettien tunnistus (NER) on luonnollisen kielen käsittelyn tekniikka, joka löytää tekstistä henkilöiden, yritysten ja paikkojen nimet sekä päivämäärät tai summat ja liittää kunkin johonkin luokkaan. Se muuttaa vapaan tekstin rakenteiseksi dataksi. Esimerkki: lähettäjän yritys, yhteyshenkilö, toimituspäivä ja laskun summa poimitaan automaattisesti sähköpostista ja siirretään CRM-järjestelmään.

NLP
Tiedonpoiminta
+1

Malli

Riippuvuusjäsennys

Riippuvuusjäsennys on luonnollisen kielen käsittelyn tekniikka, joka kuvaa lauseen kieliopillisen rakenteen sanojen välisinä riippuvuuksina. Jokainen sana liitetään hallitsevaan sanaan, esimerkiksi subjekti ja objekti verbiin: lauseessa ”Asiakas tilaa kaksi lamppua” sanat ”asiakas” ja ”lamppua” riippuvat sanasta ”tilaa”. Tämä auttaa tiedonpoiminnassa, esimerkiksi kun selvitetään, kuka teki mitä.

NLP
syntaksi
+1

Sanaluokkien merkintä (POS)

Sanaluokkien merkintä (part-of-speech tagging) liittää automaattisesti jokaiseen lauseen sanaan sen kieliopillisen luokan, kuten substantiivi, verbi, adjektiivi tai prepositio. Koska monet sanat ovat monitulkintaisia (esimerkiksi ”kuusi” numerona tai puuna), menetelmät huomioivat lauseyhteyden. POS-merkintä on klassinen esikäsittelyvaihe jäsennykselle, tiedonpoiminnalle tai oikoluvulle, ja sitä tarjoavat kirjastot, kuten spaCy ja NLTK.

NLP
Kielioppi
+1