Sõnastik

Sõnaliigi märgendamine (POS)

Mis on Sõnaliigi märgendamine (POS)?

Sõnaliigi märgendamine määrab automaatselt lause igale sõnale selle grammatilise kategooria, näiteks nimisõna, tegusõna, omadussõna või eessõna. Kuna paljud sõnad on mitmetähenduslikud (inglise keeles „book“ nimi- või tegusõnana, „light“ omadus- või nimisõnana), võtavad meetodid arvesse lause konteksti. POS-märgendamine on klassikaline eeltöötlussamm süntaksianalüüsil, teabe eraldamisel või õigekirjakontrollis ning seda pakuvad teegid nagu spaCy ja NLTK.

Teemad

  • NLP
  • grammatika
  • Tekstianalüüs

Proovi KI.ordot

Agendid, töövood ja mallid ühes tööruumis – tasuta 24-tunnine demo.

Alusta demot
← Kõik terminid

Seotud terminid

Sõltuvusanalüüs

Sõltuvusanalüüs (dependency parsing) on loomuliku keele töötluse võte, mis kujutab lause grammatilist struktuuri sõnadevaheliste sõltuvustena. Iga sõna on seotud valitseva sõnaga, näiteks alus ja sihitis öeldisega: lauses „Klient tellib kaks lampi“ sõltuvad „klient“ ja „lampi“ sõnast „tellib“. See aitab infoekstraktsioonis, näiteks selle tuvastamisel, kes mida tegi.

  • NLP
  • süntaks
  • +1

spaCy

spaCy on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mille arendab Berliinis asuv ettevõte Explosion. See jagab tekstid sõnadeks ja lauseteks, määrab sõnaliigid ja algvormid, analüüsib lausestruktuuri ning tuvastab nimetatud olemid, nagu inimesed, ettevõtted või kohad. Eeltreenitud mudelid on saadaval paljudele keeltele, sealhulgas saksa keelele. spaCy on loodud kiiruse ja päris rakenduste jaoks, näiteks suurte dokumendimahtude eeltöötluseks.

  • NLP
  • Python
  • +1

NLTK

NLTK (Natural Language Toolkit) on avatud lähtekoodiga Pythoni teek loomuliku keele töötluseks, mis loodi 2000. aastate alguses Pennsylvania Ülikoolis. See pakub tööriistu tokeniseerimiseks, sõnatüvede leidmiseks, sõnaliigi märgendamiseks ja lihtsaks klassifitseerimiseks ning juurdepääsu arvukatele tekstikorpustele. NLTK-d kasutatakse peamiselt õppetöös ja teaduses; tootmisrakendused tuginevad sageli sellistele teekidele nagu spaCy või transformer-mudelitele.

  • Python
  • keeletöötlus
  • +1

Loomuliku keele töötlus (NLP)

Loomuliku keele töötlus on TI haru, mis võimaldab arvutitel analüüsida, mõista ja genereerida inimkeelt tekstis või kõnes. See hõlmab ülesandeid nagu tõlge, klassifitseerimine, kokkuvõtete tegemine, meelestatuse analüüs ja küsimustele vastamine. Kunagi domineerisid reeglid ja statistilised meetodid; tänapäeval kujundavad valdkonda suured keelemudelid.

  • NLP
  • Keel
  • +1