NLTK (Natural Language Toolkit) er et open source Python-bibliotek til naturlig sprogbehandling, skabt på University of Pennsylvania i begyndelsen af 2000'erne. Det indeholder værktøjer til tokenisering, stemming, ordklassemærkning og enkel klassifikation samt adgang til talrige tekstkorpora. NLTK bruges hovedsageligt i undervisning og forskning; produktionsapplikationer bygger ofte på biblioteker som spaCy eller på transformer-modeller.
spaCy er et open source Python-bibliotek til naturlig sprogbehandling, udviklet af det berlinbaserede firma Explosion. Det opdeler tekster i ord og sætninger, bestemmer ordklasser og grundformer, analyserer sætningsstruktur og genkender navngivne entiteter som personer, virksomheder eller steder. Fortrænede modeller findes til mange sprog, herunder tysk. spaCy er designet til hastighed og til brug i rigtige applikationer, f.eks. til forbehandling af store mængder dokumenter.
Natural language processing er den gren af AI, der gør det muligt for computere at analysere, forstå og generere menneskeligt sprog i tekst eller tale. Det omfatter opgaver som oversættelse, klassifikation, opsummering, sentimentanalyse og spørgsmålsbesvarelse. Tidligere dominerede regler og statistiske metoder; i dag er feltet præget af store sprogmodeller.
Ordklassemærkning tildeler automatisk hvert ord i en sætning dets grammatiske kategori, f.eks. navneord, udsagnsord, tillægsord eller forholdsord. Fordi mange ord er flertydige (»kort« som navneord eller tillægsord, »lys« som navneord eller tillægsord), tager metoderne højde for sætningens sammenhæng. POS-tagging er et klassisk forbehandlingstrin til parsing, informationsudtræk eller stavekontrol og tilbydes af biblioteker som spaCy og NLTK.
Gensim er et open source-bibliotek i Python til analyse af store tekstsamlinger. Det er kendt for emnemodeller som LDA, for træning af ordvektorer (f.eks. Word2Vec, FastText og Doc2Vec) og for sammenligning af dokumenter efter lighed. Fordi Gensim behandler data i bidder, kan det også håndtere korpusser, der ikke kan være i hukommelsen. En typisk anvendelse: at gruppere tusindvis af kundekommentarer automatisk efter tilbagevendende temaer.
