Glossário

NLTK

O que é NLTK?

O NLTK (Natural Language Toolkit) é uma biblioteca Python de código aberto para processamento de linguagem natural, criada na Universidade da Pensilvânia no início dos anos 2000. Disponibiliza ferramentas para tokenização, stemming, etiquetagem de classes gramaticais e classificação simples, bem como acesso a numerosos corpora de texto. O NLTK é usado sobretudo no ensino e na investigação; as aplicações em produção recorrem muitas vezes a bibliotecas como o spaCy ou a modelos transformer.

Temas

Python
processamento de linguagem
código aberto

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

spaCy

O spaCy é uma biblioteca Python de código aberto para processamento de linguagem natural, desenvolvida pela empresa berlinense Explosion. Divide os textos em palavras e frases, determina classes gramaticais e formas de base, analisa a estrutura das frases e reconhece entidades nomeadas, como pessoas, empresas ou locais. Existem modelos pré-treinados para muitas línguas, incluindo o alemão. O spaCy foi concebido para a velocidade e para a utilização em aplicações reais, por exemplo para pré-processar grandes volumes de documentos.

NLP
Python
+1

Processamento de linguagem natural (PLN)

O processamento de linguagem natural é o ramo da IA que permite aos computadores analisar, compreender e gerar linguagem humana em texto ou fala. Abrange tarefas como tradução, classificação, resumo, análise de sentimento e resposta a perguntas. Em tempos dominaram as regras e os métodos estatísticos; hoje, a área é moldada pelos grandes modelos de linguagem.

NLP
Idioma
+1

Etiquetagem de classes gramaticais (POS)

A etiquetagem de classes gramaticais atribui automaticamente a cada palavra de uma frase a sua categoria gramatical, como substantivo, verbo, adjetivo ou preposição. Como muitas palavras são ambíguas («casa» como substantivo ou como forma do verbo casar, «claro» como adjetivo ou advérbio), os métodos têm em conta o contexto da frase. A etiquetagem POS é um passo clássico de pré-processamento para a análise sintática, a extração de informação ou a verificação ortográfica e é oferecida por bibliotecas como o spaCy e o NLTK.

NLP
Gramática
+1

Gensim

O Gensim é uma biblioteca Python de código aberto para analisar grandes coleções de texto. É conhecido pelos modelos de tópicos, como o LDA, pelo treino de vetores de palavras (por exemplo Word2Vec, FastText e Doc2Vec) e pela comparação de documentos por semelhança. Como o Gensim processa os dados por blocos, consegue lidar também com corpora que não cabem na memória. Uma utilização típica: agrupar automaticamente milhares de comentários de clientes por temas recorrentes.

Biblioteca Python
Modelação de tópicos
+1