Gensim is een open-source Python-bibliotheek voor het analyseren van grote tekstverzamelingen. Ze staat bekend om onderwerpmodellen zoals LDA, om het trainen van woordvectoren (bijvoorbeeld Word2Vec, FastText en Doc2Vec) en om het vergelijken van documenten op gelijkenis. Omdat Gensim data in delen verwerkt, kan ze ook corpora aan die niet in het geheugen passen. Een typische toepassing: duizenden klantopmerkingen automatisch groeperen op terugkerende thema’s.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenWoordembeddings stellen woorden voor als numerieke vectoren, zodat woorden met een vergelijkbare betekenis in de vectorruimte dicht bij elkaar liggen, zoals “auto” en “voertuig”. Methoden als Word2Vec of GloVe leren deze vectoren uit grote hoeveelheden tekst. Ze waren een belangrijke stap in de taalverwerking, bijvoorbeeld voor zoeken of classificeren; huidige taalmodellen gebruiken contextuele embeddings, waarin een woord afhankelijk van de zin anders wordt weergegeven.
NLTK (Natural Language Toolkit) is een open-source Python-bibliotheek voor natuurlijke taalverwerking, begin jaren 2000 ontstaan aan de University of Pennsylvania. Ze biedt hulpmiddelen voor tokenisatie, stemming, woordsoortlabeling en eenvoudige classificatie, plus toegang tot talrijke tekstcorpora. NLTK wordt vooral gebruikt in onderwijs en onderzoek; productietoepassingen steunen vaak op bibliotheken zoals spaCy of op transformermodellen.
spaCy is een open-source Python-bibliotheek voor natuurlijke taalverwerking, ontwikkeld door het Berlijnse bedrijf Explosion. Ze splitst teksten in woorden en zinnen, bepaalt woordsoorten en grondvormen, analyseert de zinsbouw en herkent benoemde entiteiten zoals personen, bedrijven of plaatsen. Voor veel talen, waaronder Duits, zijn vooraf getrainde modellen beschikbaar. spaCy is ontworpen voor snelheid en voor gebruik in echte toepassingen, bijvoorbeeld om grote hoeveelheden documenten voor te bewerken.
Natuurlijke taalverwerking is het deel van AI dat computers in staat stelt menselijke taal in tekst of spraak te analyseren, te begrijpen en te genereren. Het omvat taken als vertalen, classificeren, samenvatten, sentimentanalyse en vraagbeantwoording. Vroeger domineerden regels en statistische methoden; tegenwoordig wordt het vakgebied bepaald door grote taalmodellen.
