Fogalomtár

NLTK

Mi a(z) NLTK?

Az NLTK (Natural Language Toolkit) egy nyílt forráskódú Python-függvénykönyvtár természetes nyelv feldolgozására, amelyet a Pennsylvaniai Egyetemen hoztak létre a 2000-es évek elején. Eszközöket kínál tokenizáláshoz, szótöveztetéshez, szófaji címkézéshez és egyszerű osztályozáshoz, valamint hozzáférést számos szövegkorpuszhoz. Az NLTK-t főként oktatásban és kutatásban használják; az éles alkalmazások gyakran olyan könyvtárakra, mint a spaCy, vagy transzformer-modellekre támaszkodnak.

Témák

Python
nyelvfeldolgozás
nyílt forráskód

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

spaCy

A spaCy egy nyílt forráskódú Python-könyvtár természetes nyelv feldolgozására, amelyet a berlini Explosion vállalat fejleszt. Szavakra és mondatokra bontja a szövegeket, meghatározza a szófajokat és az alapalakokat, elemzi a mondatszerkezetet, és felismeri az elnevezett entitásokat, például személyeket, vállalatokat vagy helyeket. Sok nyelvhez, köztük a némethez is elérhetők előtanított modellek. A spaCy-t sebességre és valós alkalmazásokban való használatra tervezték, például nagy dokumentummennyiségek előfeldolgozására.

NLP
Python
+1

Természetesnyelv-feldolgozás (NLP)

A természetesnyelv-feldolgozás az MI azon ága, amely lehetővé teszi, hogy a számítógépek elemezzék, megértsék és előállítsák az emberi nyelvet szövegben vagy beszédben. Olyan feladatokat fed le, mint a fordítás, az osztályozás, az összefoglalás, a hangulatelemzés és a kérdés-felelet. Egykor a szabályok és a statisztikai módszerek uralták; ma a területet a nagy nyelvi modellek alakítják.

NLP
Nyelv
+1

Szófaji címkézés (POS)

A szófaji címkézés automatikusan hozzárendeli egy mondat minden szavához a nyelvtani kategóriáját, például főnév, ige, melléknév vagy elöljárószó. Mivel sok szó többértelmű (a „fal” főnév vagy ige, a „vár” főnév vagy ige), a módszerek figyelembe veszik a mondat kontextusát. A szófaji címkézés klasszikus előfeldolgozási lépés az elemzéshez, az információkinyeréshez vagy a helyesírás-ellenőrzéshez, és olyan könyvtárak kínálják, mint a spaCy és az NLTK.

NLP
Nyelvtan
+1

Gensim

A Gensim egy nyílt forráskódú Python-könyvtár nagy szöveggyűjtemények elemzéséhez. Ismert a témamodellekről, például az LDA-ról, a szóvektorok (például Word2Vec, FastText és Doc2Vec) tanításáról, valamint a dokumentumok hasonlóság szerinti összehasonlításáról. Mivel a Gensim az adatokat darabokban dolgozza fel, olyan korpuszokat is képes kezelni, amelyek nem férnek el a memóriában. Tipikus felhasználás: több ezer ügyfélvélemény automatikus csoportosítása visszatérő témák szerint.

Python-könyvtár
témamodellezés
+1