Ordklasstaggning tilldelar automatiskt varje ord i en mening dess grammatiska kategori, som substantiv, verb, adjektiv eller preposition. Eftersom många ord är tvetydiga (”plan” som substantiv eller adjektiv, ”fast” som adjektiv eller adverb) tar metoderna hänsyn till meningens sammanhang. Ordklasstaggning är ett klassiskt förbehandlingssteg för syntaktisk analys, informationsextraktion eller stavningskontroll och erbjuds av bibliotek som spaCy och NLTK.
Beroendeparsning är en teknik inom språkteknologi som beskriver en menings grammatiska struktur som beroenden mellan ord. Varje ord är kopplat till ett överordnat ord, till exempel subjekt och objekt till verbet: i ”Kunden beställer två lampor” är ”kunden” och ”lampor” beroende av ”beställer”. Det hjälper vid informationsutvinning, till exempel för att identifiera vem som gjorde vad.
spaCy är ett Python-bibliotek med öppen källkod för språkbehandling, utvecklat av det Berlinbaserade företaget Explosion. Det delar upp texter i ord och meningar, bestämmer ordklasser och grundformer, analyserar meningsbyggnad och känner igen namngivna entiteter som personer, företag eller platser. Förtränade modeller finns för många språk, bland annat tyska. spaCy är utformat för hastighet och för användning i verkliga tillämpningar, till exempel för att förbehandla stora mängder dokument.
NLTK (Natural Language Toolkit) är ett Python-bibliotek med öppen källkod för språkbehandling, skapat vid University of Pennsylvania i början av 2000-talet. Det erbjuder verktyg för tokenisering, stamning, ordklasstaggning och enkel klassificering, samt tillgång till många textkorpusar. NLTK används främst i undervisning och forskning; produktionsapplikationer bygger ofta på bibliotek som spaCy eller på transformermodeller.
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
