O Gensim é uma biblioteca Python de código aberto para analisar grandes coleções de texto. É conhecido pelos modelos de tópicos, como o LDA, pelo treino de vetores de palavras (por exemplo Word2Vec, FastText e Doc2Vec) e pela comparação de documentos por semelhança. Como o Gensim processa os dados por blocos, consegue lidar também com corpora que não cabem na memória. Uma utilização típica: agrupar automaticamente milhares de comentários de clientes por temas recorrentes.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoOs word embeddings representam palavras como vetores numéricos, de modo que palavras com significados semelhantes fiquem próximas no espaço vetorial, como «carro» e «veículo». Métodos como o Word2Vec ou o GloVe aprendem estes vetores a partir de grandes quantidades de texto. Foram um passo importante no processamento de linguagem, por exemplo na pesquisa ou na classificação; os modelos de linguagem atuais utilizam embeddings contextuais, em que uma palavra é representada de forma diferente consoante a frase.
O NLTK (Natural Language Toolkit) é uma biblioteca Python de código aberto para processamento de linguagem natural, criada na Universidade da Pensilvânia no início dos anos 2000. Disponibiliza ferramentas para tokenização, stemming, etiquetagem de classes gramaticais e classificação simples, bem como acesso a numerosos corpora de texto. O NLTK é usado sobretudo no ensino e na investigação; as aplicações em produção recorrem muitas vezes a bibliotecas como o spaCy ou a modelos transformer.
O spaCy é uma biblioteca Python de código aberto para processamento de linguagem natural, desenvolvida pela empresa berlinense Explosion. Divide os textos em palavras e frases, determina classes gramaticais e formas de base, analisa a estrutura das frases e reconhece entidades nomeadas, como pessoas, empresas ou locais. Existem modelos pré-treinados para muitas línguas, incluindo o alemão. O spaCy foi concebido para a velocidade e para a utilização em aplicações reais, por exemplo para pré-processar grandes volumes de documentos.
O processamento de linguagem natural é o ramo da IA que permite aos computadores analisar, compreender e gerar linguagem humana em texto ou fala. Abrange tarefas como tradução, classificação, resumo, análise de sentimento e resposta a perguntas. Em tempos dominaram as regras e os métodos estatísticos; hoje, a área é moldada pelos grandes modelos de linguagem.
