NLTK (Natural Language Toolkit) is een open-source Python-bibliotheek voor natuurlijke taalverwerking, begin jaren 2000 ontstaan aan de University of Pennsylvania. Ze biedt hulpmiddelen voor tokenisatie, stemming, woordsoortlabeling en eenvoudige classificatie, plus toegang tot talrijke tekstcorpora. NLTK wordt vooral gebruikt in onderwijs en onderzoek; productietoepassingen steunen vaak op bibliotheken zoals spaCy of op transformermodellen.
Agents, workflows en sjablonen in één werkruimte – gratis demo van 24 uur.
Demo startenspaCy is een open-source Python-bibliotheek voor natuurlijke taalverwerking, ontwikkeld door het Berlijnse bedrijf Explosion. Ze splitst teksten in woorden en zinnen, bepaalt woordsoorten en grondvormen, analyseert de zinsbouw en herkent benoemde entiteiten zoals personen, bedrijven of plaatsen. Voor veel talen, waaronder Duits, zijn vooraf getrainde modellen beschikbaar. spaCy is ontworpen voor snelheid en voor gebruik in echte toepassingen, bijvoorbeeld om grote hoeveelheden documenten voor te bewerken.
Natuurlijke taalverwerking is het deel van AI dat computers in staat stelt menselijke taal in tekst of spraak te analyseren, te begrijpen en te genereren. Het omvat taken als vertalen, classificeren, samenvatten, sentimentanalyse en vraagbeantwoording. Vroeger domineerden regels en statistische methoden; tegenwoordig wordt het vakgebied bepaald door grote taalmodellen.
Woordsoortlabeling wijst elk woord in een zin automatisch zijn grammaticale categorie toe, zoals zelfstandig naamwoord, werkwoord, bijvoeglijk naamwoord of voorzetsel. Omdat veel woorden meerduidig zijn (“lang” als bijvoeglijk naamwoord of als bijwoord, “zoek” als werkwoordsvorm of als zelfstandig naamwoord), houden de methoden rekening met de zinscontext. POS-tagging is een klassieke voorbewerkingsstap voor ontleden, informatie-extractie of spellingcontrole en wordt aangeboden door bibliotheken als spaCy en NLTK.
Gensim is een open-source Python-bibliotheek voor het analyseren van grote tekstverzamelingen. Ze staat bekend om onderwerpmodellen zoals LDA, om het trainen van woordvectoren (bijvoorbeeld Word2Vec, FastText en Doc2Vec) en om het vergelijken van documenten op gelijkenis. Omdat Gensim data in delen verwerkt, kan ze ook corpora aan die niet in het geheugen passen. Een typische toepassing: duizenden klantopmerkingen automatisch groeperen op terugkerende thema’s.
