Gensim je open-source knižnica v jazyku Python na analýzu veľkých zbierok textov. Je známa tematickými modelmi, ako je LDA, trénovaním slovných vektorov (napríklad Word2Vec, FastText a Doc2Vec) a porovnávaním dokumentov podľa podobnosti. Keďže Gensim spracúva údaje po častiach, zvládne aj korpusy, ktoré sa nezmestia do pamäte. Typické použitie: automatické zoskupenie tisícok zákazníckych komentárov podľa opakujúcich sa tém.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoWord embeddings reprezentujú slová ako číselné vektory tak, aby slová s podobným významom ležali vo vektorovom priestore blízko seba, napríklad „auto“ a „vozidlo“. Metódy ako Word2Vec alebo GloVe sa tieto vektory učia z veľkého množstva textu. Boli dôležitým krokom v spracovaní jazyka, napríklad pri vyhľadávaní alebo klasifikácii; dnešné jazykové modely používajú kontextové embeddingy, v ktorých je slovo reprezentované inak podľa vety.
NLTK (Natural Language Toolkit) je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorá vznikla na Pensylvánskej univerzite začiatkom 2000. rokov. Poskytuje nástroje na tokenizáciu, stemming, určovanie slovných druhov a jednoduchú klasifikáciu, ako aj prístup k mnohým textovým korpusom. NLTK sa používa najmä vo výučbe a výskume; produkčné aplikácie sa často opierajú o knižnice, ako je spaCy, alebo o modely transformer.
spaCy je open-source knižnica Pythonu na spracovanie prirodzeného jazyka, ktorú vyvíja berlínska spoločnosť Explosion. Rozdeľuje texty na slová a vety, určuje slovné druhy a základné tvary, analyzuje stavbu viet a rozpoznáva pomenované entity, ako sú osoby, firmy alebo miesta. Predtrénované modely sú dostupné pre mnohé jazyky vrátane nemčiny. spaCy je navrhnutá na rýchlosť a použitie v reálnych aplikáciách, napríklad na predspracovanie veľkých objemov dokumentov.
Spracovanie prirodzeného jazyka je odvetvie AI, ktoré počítačom umožňuje analyzovať, chápať a generovať ľudský jazyk v texte alebo reči. Zahŕňa úlohy, ako sú preklad, klasifikácia, sumarizácia, analýza sentimentu a odpovedanie na otázky. Kedysi dominovali pravidlá a štatistické metódy; dnes oblasť formujú veľké jazykové modely.
