Gensim est une bibliothèque Python open source dédiée à l’analyse de grands ensembles de textes. Elle est connue pour ses modèles thématiques comme LDA, l’entraînement de vecteurs de mots (Word2Vec, FastText, Doc2Vec) et la comparaison de documents par similarité. Comme elle traite les données par blocs, elle gère aussi des corpus qui ne tiennent pas en mémoire. Usage typique : regrouper automatiquement des milliers de commentaires clients par thèmes récurrents.
Agents, flux et modèles dans un seul espace de travail – démo gratuite de 24 heures.
Lancer la démoLes plongements lexicaux représentent les mots sous forme de vecteurs numériques, de sorte que des mots de sens voisin soient proches dans l'espace vectoriel, comme « voiture » et « véhicule ». Des méthodes comme Word2Vec ou GloVe apprennent ces vecteurs à partir de grandes quantités de texte. Ils ont marqué une étape importante du traitement du langage, notamment pour la recherche ou la classification ; les modèles de langage actuels utilisent des plongements contextuels, où un mot est représenté différemment selon la phrase.
NLTK (Natural Language Toolkit) est une bibliothèque Python open source de traitement du langage naturel, créée au début des années 2000 à l’University of Pennsylvania. Elle fournit des outils de tokenisation, de racinisation, d’étiquetage morphosyntaxique et de classification simple, ainsi que l’accès à de nombreux corpus. NLTK est surtout utilisée dans l’enseignement et la recherche ; en production, on recourt souvent à des bibliothèques comme spaCy ou à des modèles transformers.
spaCy est une bibliothèque Python open source de traitement automatique du langage, développée par l'entreprise berlinoise Explosion. Elle découpe les textes en mots et en phrases, détermine les catégories grammaticales et les formes de base, analyse la structure des phrases et reconnaît les entités nommées comme les personnes, entreprises ou lieux. Des modèles préentraînés existent pour de nombreuses langues, dont le français. spaCy vise la rapidité et l'usage en production, par exemple pour prétraiter de grands volumes de documents.
Le traitement du langage naturel (Natural Language Processing) est la branche de l'IA qui permet aux ordinateurs d'analyser, de comprendre et de produire le langage humain, écrit ou oral. Il couvre des tâches comme la traduction, la classification, le résumé, l'analyse de sentiment ou les systèmes de questions-réponses. Longtemps dominé par des règles et des méthodes statistiques, le domaine est aujourd'hui façonné par les grands modèles de langage.
