Gensim je open-source knihovna v Pythonu pro analýzu velkých sbírek textů. Je známá tematickými modely, jako je LDA, trénováním slovních vektorů (například Word2Vec, FastText a Doc2Vec) a porovnáváním dokumentů podle podobnosti. Protože Gensim zpracovává data po částech, zvládne i korpusy, které se nevejdou do paměti. Typické využití: automatické seskupení tisíců zákaznických komentářů podle opakujících se témat.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoSlovní embeddingy reprezentují slova jako číselné vektory, takže slova s podobným významem leží ve vektorovém prostoru blízko sebe, například „auto“ a „vozidlo“. Metody jako Word2Vec nebo GloVe se tyto vektory učí z velkých objemů textu. Byly důležitým krokem ve zpracování jazyka, například pro vyhledávání nebo klasifikaci; dnešní jazykové modely používají kontextové embeddingy, v nichž je slovo reprezentováno různě podle věty.
NLTK (Natural Language Toolkit) je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, vytvořená na University of Pennsylvania na začátku 21. století. Nabízí nástroje pro tokenizaci, stemming, určování slovních druhů a jednoduchou klasifikaci i přístup k mnoha textovým korpusům. NLTK se používá hlavně ve výuce a výzkumu; produkční aplikace se často opírají o knihovny, jako je spaCy, nebo o modely typu transformer.
spaCy je open-source knihovna pro Python určená ke zpracování přirozeného jazyka, kterou vyvíjí berlínská společnost Explosion. Rozdělí texty na slova a věty, určí slovní druhy a základní tvary, analyzuje stavbu vět a rozpoznává pojmenované entity, jako jsou osoby, firmy nebo místa. K dispozici jsou předtrénované modely pro mnoho jazyků včetně němčiny. spaCy je navržena pro rychlost a nasazení ve skutečných aplikacích, například pro předzpracování velkých objemů dokumentů.
Zpracování přirozeného jazyka je odvětví AI, které počítačům umožňuje analyzovat, chápat a vytvářet lidský jazyk v textu nebo řeči. Zahrnuje úlohy, jako je překlad, klasifikace, sumarizace, analýza sentimentu a odpovídání na otázky. Dříve dominovala pravidla a statistické metody; dnes obor utvářejí velké jazykové modely.
