NLTK (Natural Language Toolkit) är ett Python-bibliotek med öppen källkod för språkbehandling, skapat vid University of Pennsylvania i början av 2000-talet. Det erbjuder verktyg för tokenisering, stamning, ordklasstaggning och enkel klassificering, samt tillgång till många textkorpusar. NLTK används främst i undervisning och forskning; produktionsapplikationer bygger ofta på bibliotek som spaCy eller på transformermodeller.
spaCy är ett Python-bibliotek med öppen källkod för språkbehandling, utvecklat av det Berlinbaserade företaget Explosion. Det delar upp texter i ord och meningar, bestämmer ordklasser och grundformer, analyserar meningsbyggnad och känner igen namngivna entiteter som personer, företag eller platser. Förtränade modeller finns för många språk, bland annat tyska. spaCy är utformat för hastighet och för användning i verkliga tillämpningar, till exempel för att förbehandla stora mängder dokument.
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
Ordklasstaggning tilldelar automatiskt varje ord i en mening dess grammatiska kategori, som substantiv, verb, adjektiv eller preposition. Eftersom många ord är tvetydiga (”plan” som substantiv eller adjektiv, ”fast” som adjektiv eller adverb) tar metoderna hänsyn till meningens sammanhang. Ordklasstaggning är ett klassiskt förbehandlingssteg för syntaktisk analys, informationsextraktion eller stavningskontroll och erbjuds av bibliotek som spaCy och NLTK.
Gensim är ett Python-bibliotek med öppen källkod för att analysera stora textsamlingar. Det är känt för ämnesmodeller som LDA, för att träna ordvektorer (till exempel Word2Vec, FastText och Doc2Vec) och för att jämföra dokument efter likhet. Eftersom Gensim bearbetar data i delar kan det också hantera korpusar som inte ryms i minnet. En typisk användning: att automatiskt gruppera tusentals kundkommentarer efter återkommande teman.
