Gensim är ett Python-bibliotek med öppen källkod för att analysera stora textsamlingar. Det är känt för ämnesmodeller som LDA, för att träna ordvektorer (till exempel Word2Vec, FastText och Doc2Vec) och för att jämföra dokument efter likhet. Eftersom Gensim bearbetar data i delar kan det också hantera korpusar som inte ryms i minnet. En typisk användning: att automatiskt gruppera tusentals kundkommentarer efter återkommande teman.
Ordinbäddningar representerar ord som numeriska vektorer så att ord med liknande betydelse hamnar nära varandra i vektorrummet, som ”bil” och ”fordon”. Metoder som Word2Vec eller GloVe lär sig dessa vektorer från stora textmängder. De var ett viktigt steg inom språkbehandling, till exempel för sökning eller klassificering; dagens språkmodeller använder kontextuella inbäddningar där ett ord representeras olika beroende på meningen.
NLTK (Natural Language Toolkit) är ett Python-bibliotek med öppen källkod för språkbehandling, skapat vid University of Pennsylvania i början av 2000-talet. Det erbjuder verktyg för tokenisering, stamning, ordklasstaggning och enkel klassificering, samt tillgång till många textkorpusar. NLTK används främst i undervisning och forskning; produktionsapplikationer bygger ofta på bibliotek som spaCy eller på transformermodeller.
spaCy är ett Python-bibliotek med öppen källkod för språkbehandling, utvecklat av det Berlinbaserade företaget Explosion. Det delar upp texter i ord och meningar, bestämmer ordklasser och grundformer, analyserar meningsbyggnad och känner igen namngivna entiteter som personer, företag eller platser. Förtränade modeller finns för många språk, bland annat tyska. spaCy är utformat för hastighet och för användning i verkliga tillämpningar, till exempel för att förbehandla stora mängder dokument.
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
