Gensim er et open source-bibliotek i Python til analyse af store tekstsamlinger. Det er kendt for emnemodeller som LDA, for træning af ordvektorer (f.eks. Word2Vec, FastText og Doc2Vec) og for sammenligning af dokumenter efter lighed. Fordi Gensim behandler data i bidder, kan det også håndtere korpusser, der ikke kan være i hukommelsen. En typisk anvendelse: at gruppere tusindvis af kundekommentarer automatisk efter tilbagevendende temaer.
Word embeddings repræsenterer ord som numeriske vektorer, så ord med lignende betydning ligger tæt på hinanden i vektorrummet, f.eks. »bil« og »køretøj«. Metoder som Word2Vec eller GloVe lærer disse vektorer af store tekstmængder. De var et vigtigt skridt i sprogbehandlingen, f.eks. til søgning eller klassifikation; nutidens sprogmodeller bruger kontekstuelle embeddings, hvor et ord repræsenteres forskelligt afhængigt af sætningen.
NLTK (Natural Language Toolkit) er et open source Python-bibliotek til naturlig sprogbehandling, skabt på University of Pennsylvania i begyndelsen af 2000'erne. Det indeholder værktøjer til tokenisering, stemming, ordklassemærkning og enkel klassifikation samt adgang til talrige tekstkorpora. NLTK bruges hovedsageligt i undervisning og forskning; produktionsapplikationer bygger ofte på biblioteker som spaCy eller på transformer-modeller.
spaCy er et open source Python-bibliotek til naturlig sprogbehandling, udviklet af det berlinbaserede firma Explosion. Det opdeler tekster i ord og sætninger, bestemmer ordklasser og grundformer, analyserer sætningsstruktur og genkender navngivne entiteter som personer, virksomheder eller steder. Fortrænede modeller findes til mange sprog, herunder tysk. spaCy er designet til hastighed og til brug i rigtige applikationer, f.eks. til forbehandling af store mængder dokumenter.
Natural language processing er den gren af AI, der gør det muligt for computere at analysere, forstå og generere menneskeligt sprog i tekst eller tale. Det omfatter opgaver som oversættelse, klassifikation, opsummering, sentimentanalyse og spørgsmålsbesvarelse. Tidligere dominerede regler og statistiske metoder; i dag er feltet præget af store sprogmodeller.
