Gensim es una biblioteca de Python de código abierto para analizar grandes colecciones de texto. Es conocida por sus modelos de temas como LDA, por el entrenamiento de vectores de palabras (por ejemplo Word2Vec, FastText y Doc2Vec) y por comparar documentos según su similitud. Como procesa los datos por partes, también maneja corpus que no caben en memoria. Un uso típico: agrupar automáticamente miles de comentarios de clientes por temas recurrentes.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoLos embeddings de palabras representan las palabras como vectores numéricos, de modo que las de significado parecido quedan cerca en el espacio vectorial, como «coche» y «vehículo». Métodos como Word2Vec o GloVe aprenden estos vectores a partir de grandes cantidades de texto. Fueron un paso importante en el procesamiento del lenguaje, por ejemplo para búsqueda o clasificación; los modelos de lenguaje actuales usan embeddings contextuales, en los que una palabra se representa de forma distinta según la frase.
NLTK (Natural Language Toolkit) es una biblioteca de Python de código abierto para el procesamiento del lenguaje natural, creada a principios de los años 2000 en la University of Pennsylvania. Ofrece herramientas de tokenización, lematización por raíces (stemming), etiquetado gramatical y clasificación sencilla, además de acceso a numerosos corpus. Se usa sobre todo en docencia e investigación; en aplicaciones de producción se suelen emplear bibliotecas como spaCy o modelos transformer.
spaCy es una biblioteca de Python de código abierto para el procesamiento del lenguaje natural, desarrollada por la empresa berlinesa Explosion. Divide los textos en palabras y oraciones, identifica categorías gramaticales y formas base, analiza la estructura de las frases y reconoce entidades nombradas como personas, empresas o lugares. Hay modelos preentrenados para muchos idiomas, incluido el español. spaCy está pensada para ser rápida y usarse en aplicaciones reales, por ejemplo para preprocesar grandes volúmenes de documentos.
El procesamiento del lenguaje natural (Natural Language Processing, NLP) es la rama de la IA que permite a los ordenadores analizar, comprender y generar lenguaje humano escrito u oral. Abarca tareas como traducción, clasificación, resumen, análisis de sentimiento y sistemas de pregunta-respuesta. Antes predominaban las reglas y los métodos estadísticos; hoy el campo lo marcan los grandes modelos de lenguaje.
