Beroendeparsning är en teknik inom språkteknologi som beskriver en menings grammatiska struktur som beroenden mellan ord. Varje ord är kopplat till ett överordnat ord, till exempel subjekt och objekt till verbet: i ”Kunden beställer två lampor” är ”kunden” och ”lampor” beroende av ”beställer”. Det hjälper vid informationsutvinning, till exempel för att identifiera vem som gjorde vad.
Ordklasstaggning tilldelar automatiskt varje ord i en mening dess grammatiska kategori, som substantiv, verb, adjektiv eller preposition. Eftersom många ord är tvetydiga (”plan” som substantiv eller adjektiv, ”fast” som adjektiv eller adverb) tar metoderna hänsyn till meningens sammanhang. Ordklasstaggning är ett klassiskt förbehandlingssteg för syntaktisk analys, informationsextraktion eller stavningskontroll och erbjuds av bibliotek som spaCy och NLTK.
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
spaCy är ett Python-bibliotek med öppen källkod för språkbehandling, utvecklat av det Berlinbaserade företaget Explosion. Det delar upp texter i ord och meningar, bestämmer ordklasser och grundformer, analyserar meningsbyggnad och känner igen namngivna entiteter som personer, företag eller platser. Förtränade modeller finns för många språk, bland annat tyska. spaCy är utformat för hastighet och för användning i verkliga tillämpningar, till exempel för att förbehandla stora mängder dokument.
Koreferensupplösning är en uppgift inom språkteknologi som identifierar vilka uttryck i en text som syftar på samma person, sak eller angelägenhet. I ”Fru Weber ringde. Hon vill bli uppringd” måste systemet förstå att ”hon” betyder fru Weber. Det är viktigt för sammanfattningar, informationsutvinning och chattbotar som måste hålla reda på hänvisningar över flera meningar eller samtalsvändor.
