Glosārijs

Vārdšķiru marķēšana (POS)

Kas ir Vārdšķiru marķēšana (POS)?

Vārdšķiru marķēšana automātiski piešķir katram teikuma vārdam tā gramatisko kategoriju, piemēram, lietvārds, darbības vārds, īpašības vārds vai prievārds. Tā kā daudzi vārdi ir neviennozīmīgi („book” kā lietvārds vai darbības vārds, „light” kā īpašības vārds vai lietvārds), metodes ņem vērā teikuma kontekstu. POS marķēšana ir klasisks priekšapstrādes solis sintaktiskajai analīzei, informācijas izgūšanai vai pareizrakstības pārbaudei, un to piedāvā bibliotēkas, piemēram, spaCy un NLTK.

Tēmas

NLP
Gramatika
Teksta analīze

Izmēģiniet KI.ordo

Aģenti, plūsmas un veidnes vienā darbvietā – bezmaksas 24 stundu demo.

Sākt demo

← Visi termini

Saistītie termini

Atkarību sintaktiskā analīze

Atkarību sintaktiskā analīze ir dabiskās valodas apstrādes paņēmiens, kas teikuma gramatisko uzbūvi attēlo kā atkarības starp vārdiem. Katrs vārds ir saistīts ar pārvaldošo vārdu, piemēram, priekšmets un papildinātājs ar izteicēju: teikumā „Klients pasūta divas lampas” vārdi „klients” un „lampas” ir atkarīgi no „pasūta”. Tas palīdz informācijas izgūšanā, piemēram, lai noteiktu, kas ko izdarīja.

NLP
sintakse
+1

spaCy

spaCy ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, ko izstrādā Berlīnes uzņēmums Explosion. Tā sadala tekstus vārdos un teikumos, nosaka vārdšķiras un pamatformas, analizē teikuma struktūru un atpazīst nosauktās entītijas, piemēram, personas, uzņēmumus vai vietas. Iepriekš apmācīti modeļi ir pieejami daudzām valodām, tostarp vācu valodai. spaCy ir izstrādāta ātrumam un lietošanai reālās lietojumprogrammās, piemēram, lielu dokumentu apjomu priekšapstrādei.

NLP
Python
+1

NLTK

NLTK (Natural Language Toolkit) ir atvērtā pirmkoda Python bibliotēka dabiskās valodas apstrādei, kas izveidota Pensilvānijas Universitātē 2000. gadu sākumā. Tā nodrošina rīkus tokenizācijai, celmošanai, vārdšķiru marķēšanai un vienkāršai klasifikācijai, kā arī piekļuvi daudziem teksta korpusiem. NLTK galvenokārt izmanto mācībās un pētniecībā; produkcijas lietojumprogrammas bieži balstās uz tādām bibliotēkām kā spaCy vai uz transformeru modeļiem.

Python
valodas apstrāde
+1

Dabiskās valodas apstrāde (NLP)

Dabiskās valodas apstrāde ir MI nozare, kas ļauj datoriem analizēt, saprast un ģenerēt cilvēku valodu tekstā vai runā. Tā aptver uzdevumus, piemēram, tulkošanu, klasifikāciju, kopsavilkumu veidošanu, noskaņojuma analīzi un atbilžu sniegšanu uz jautājumiem. Kādreiz dominēja noteikumi un statistikas metodes; mūsdienās nozari veido lielie valodas modeļi.

NLP
Valoda
+1