Fogalomtár

Gensim

Mi a(z) Gensim?

A Gensim egy nyílt forráskódú Python-könyvtár nagy szöveggyűjtemények elemzéséhez. Ismert a témamodellekről, például az LDA-ról, a szóvektorok (például Word2Vec, FastText és Doc2Vec) tanításáról, valamint a dokumentumok hasonlóság szerinti összehasonlításáról. Mivel a Gensim az adatokat darabokban dolgozza fel, olyan korpuszokat is képes kezelni, amelyek nem férnek el a memóriában. Tipikus felhasználás: több ezer ügyfélvélemény automatikus csoportosítása visszatérő témák szerint.

Témák

Python-könyvtár
témamodellezés
NLP

Próbálja ki a KI.ordót

Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.

Demó indítása

← Minden fogalom

Kapcsolódó fogalmak

Szóbeágyazások

A szóbeágyazások a szavakat numerikus vektorokként ábrázolják úgy, hogy a hasonló jelentésű szavak közel kerüljenek egymáshoz a vektortérben, például az „autó” és a „jármű”. Az olyan módszerek, mint a Word2Vec vagy a GloVe, ezeket a vektorokat nagy szövegmennyiségből tanulják. Fontos lépést jelentettek a nyelvfeldolgozásban, például a keresésnél vagy az osztályozásnál; a mai nyelvi modellek kontextuális beágyazásokat használnak, amelyekben egy szót a mondattól függően másképp ábrázolnak.

NLP
Vektorok
+1

NLTK

Az NLTK (Natural Language Toolkit) egy nyílt forráskódú Python-függvénykönyvtár természetes nyelv feldolgozására, amelyet a Pennsylvaniai Egyetemen hoztak létre a 2000-es évek elején. Eszközöket kínál tokenizáláshoz, szótöveztetéshez, szófaji címkézéshez és egyszerű osztályozáshoz, valamint hozzáférést számos szövegkorpuszhoz. Az NLTK-t főként oktatásban és kutatásban használják; az éles alkalmazások gyakran olyan könyvtárakra, mint a spaCy, vagy transzformer-modellekre támaszkodnak.

Python
nyelvfeldolgozás
+1

spaCy

A spaCy egy nyílt forráskódú Python-könyvtár természetes nyelv feldolgozására, amelyet a berlini Explosion vállalat fejleszt. Szavakra és mondatokra bontja a szövegeket, meghatározza a szófajokat és az alapalakokat, elemzi a mondatszerkezetet, és felismeri az elnevezett entitásokat, például személyeket, vállalatokat vagy helyeket. Sok nyelvhez, köztük a némethez is elérhetők előtanított modellek. A spaCy-t sebességre és valós alkalmazásokban való használatra tervezték, például nagy dokumentummennyiségek előfeldolgozására.

NLP
Python
+1

Természetesnyelv-feldolgozás (NLP)

A természetesnyelv-feldolgozás az MI azon ága, amely lehetővé teszi, hogy a számítógépek elemezzék, megértsék és előállítsák az emberi nyelvet szövegben vagy beszédben. Olyan feladatokat fed le, mint a fordítás, az osztályozás, az összefoglalás, a hangulatelemzés és a kérdés-felelet. Egykor a szabályok és a statisztikai módszerek uralták; ma a területet a nagy nyelvi modellek alakítják.

NLP
Nyelv
+1