BLEU-poängen (Bilingual Evaluation Understudy) är ett mått som utvecklades vid IBM 2002 för att automatiskt utvärdera maskinöversättningar. Den mäter hur många ordsekvenser i en översättning som också förekommer i en eller flera mänskliga referensöversättningar och ger ett värde mellan 0 och 1 (ofta visat som 0–100). BLEU är snabbt och jämförbart men fångar varken innebörd eller stil särskilt väl – bra omformuleringar kan få låga poäng.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) är en familj av mått för att jämföra automatiskt genererade texter – särskilt sammanfattningar – med referenstexter skrivna av människor. Det mäter hur många ord eller ordföljder som överlappar, till exempel enskilda ord i ROUGE-1 eller den längsta gemensamma delföljden i ROUGE-L. Måttet är snabbt att beräkna, men fångar inte på ett tillförlitligt sätt omskrivningar med samma betydelse eller faktamässig korrekthet.
Inom AI innebär benchmarking att systematiskt jämföra modeller eller system med hjälp av definierade uppgifter och kriterier. Offentliga benchmarks mäter till exempel allmänkunskap, resonemangsförmåga eller programmeringsförmåga; för praktisk användning är dock testfall från den egna vardagen viktigast. Typiska kriterier är korrekthet, fullständighet, svarstid och kostnad. Det hjälper till att avgöra om en mindre, billigare modell räcker för en uppgift.
F-värdet är ett mått för att utvärdera klassificeringsmodeller. Det vanliga F1-värdet är det harmoniska medelvärdet av precision (hur många av de förutsagda träffarna som är korrekta) och täckning (hur många av de faktiska träffarna som hittades) och ligger mellan 0 och 1. Det är särskilt användbart vid obalanserade data: ett skräppostfilter som nästan aldrig flaggar skräppost kan ha hög noggrannhet men lågt F1-värde.
Naturlig språkbehandling är den gren av AI som gör det möjligt för datorer att analysera, förstå och generera mänskligt språk i text eller tal. Den omfattar uppgifter som översättning, klassificering, sammanfattning, sentimentanalys och frågebesvarande. Regler och statistiska metoder dominerade förr; i dag präglas området av stora språkmodeller.
