A szófaji címkézés automatikusan hozzárendeli egy mondat minden szavához a nyelvtani kategóriáját, például főnév, ige, melléknév vagy elöljárószó. Mivel sok szó többértelmű (a „fal” főnév vagy ige, a „vár” főnév vagy ige), a módszerek figyelembe veszik a mondat kontextusát. A szófaji címkézés klasszikus előfeldolgozási lépés az elemzéshez, az információkinyeréshez vagy a helyesírás-ellenőrzéshez, és olyan könyvtárak kínálják, mint a spaCy és az NLTK.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA függőségi elemzés (dependency parsing) egy természetesnyelv-feldolgozási technika, amely a mondat nyelvtani szerkezetét a szavak közötti függőségekként ábrázolja. Minden szó egy uralkodó szóhoz kapcsolódik, például az alany és a tárgy az igéhez: a „Az ügyfél két lámpát rendel” mondatban az „ügyfél” és a „lámpát” a „rendel” igétől függ. Ez segít az információkinyerésben, például annak azonosításában, hogy ki mit tett.
A spaCy egy nyílt forráskódú Python-könyvtár természetes nyelv feldolgozására, amelyet a berlini Explosion vállalat fejleszt. Szavakra és mondatokra bontja a szövegeket, meghatározza a szófajokat és az alapalakokat, elemzi a mondatszerkezetet, és felismeri az elnevezett entitásokat, például személyeket, vállalatokat vagy helyeket. Sok nyelvhez, köztük a némethez is elérhetők előtanított modellek. A spaCy-t sebességre és valós alkalmazásokban való használatra tervezték, például nagy dokumentummennyiségek előfeldolgozására.
Az NLTK (Natural Language Toolkit) egy nyílt forráskódú Python-függvénykönyvtár természetes nyelv feldolgozására, amelyet a Pennsylvaniai Egyetemen hoztak létre a 2000-es évek elején. Eszközöket kínál tokenizáláshoz, szótöveztetéshez, szófaji címkézéshez és egyszerű osztályozáshoz, valamint hozzáférést számos szövegkorpuszhoz. Az NLTK-t főként oktatásban és kutatásban használják; az éles alkalmazások gyakran olyan könyvtárakra, mint a spaCy, vagy transzformer-modellekre támaszkodnak.
A természetesnyelv-feldolgozás az MI azon ága, amely lehetővé teszi, hogy a számítógépek elemezzék, megértsék és előállítsák az emberi nyelvet szövegben vagy beszédben. Olyan feladatokat fed le, mint a fordítás, az osztályozás, az összefoglalás, a hangulatelemzés és a kérdés-felelet. Egykor a szabályok és a statisztikai módszerek uralták; ma a területet a nagy nyelvi modellek alakítják.
