Gensim е библиотека с отворен код на Python за анализ на големи колекции от текстове. Известна е с тематичните модели като LDA, с обучението на векторни представяния на думи (например Word2Vec, FastText и Doc2Vec) и със сравняването на документи по сходство. Тъй като Gensim обработва данните на части, тя може да работи и с корпуси, които не се събират в паметта. Типично приложение: автоматично групиране на хиляди коментари на клиенти по повтарящи се теми.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоВградените представяния на думи (word embeddings) представят думите като числови вектори, така че думи с близко значение да лежат близо една до друга във векторното пространство, например „кола“ и „автомобил“. Методи като Word2Vec или GloVe научават тези вектори от големи количества текст. Те бяха важна стъпка в езиковата обработка, например за търсене или класификация; днешните езикови модели използват контекстуални представяния, при които една дума се представя по различен начин в зависимост от изречението.
NLTK (Natural Language Toolkit) е библиотека за Python с отворен код за обработка на естествен език, създадена в Университета на Пенсилвания в началото на 2000-те години. Тя предоставя инструменти за токенизация, стемиране, определяне на частите на речта и проста класификация, както и достъп до множество текстови корпуси. NLTK се използва главно в обучението и научните изследвания; продуктивните приложения често разчитат на библиотеки като spaCy или на трансформър модели.
spaCy е библиотека за Python с отворен код за обработка на естествен език, разработена от берлинската компания Explosion. Тя разделя текстовете на думи и изречения, определя частите на речта и основните форми, анализира структурата на изречението и разпознава назовани същности като хора, компании или места. Налични са предварително обучени модели за много езици, включително немски. spaCy е създадена за бързина и за употреба в реални приложения, например за предварителна обработка на големи обеми документи.
Обработката на естествен език е дялът на ИИ, който дава възможност на компютрите да анализират, разбират и генерират човешки език в текст или реч. Тя обхваща задачи като превод, класификация, резюмиране, анализ на настроението и отговаряне на въпроси. Някога доминираха правилата и статистическите методи; днес областта се оформя от големите езикови модели.
