ROUGE (Recall-Oriented Understudy for Gisting Evaluation) är en familj av mått för att jämföra automatiskt genererade texter – särskilt sammanfattningar – med referenstexter skrivna av människor. Det mäter hur många ord eller ordföljder som överlappar, till exempel enskilda ord i ROUGE-1 eller den längsta gemensamma delföljden i ROUGE-L. Måttet är snabbt att beräkna, men fångar inte på ett tillförlitligt sätt omskrivningar med samma betydelse eller faktamässig korrekthet.
BLEU-poängen (Bilingual Evaluation Understudy) är ett mått som utvecklades vid IBM 2002 för att automatiskt utvärdera maskinöversättningar. Den mäter hur många ordsekvenser i en översättning som också förekommer i en eller flera mänskliga referensöversättningar och ger ett värde mellan 0 och 1 (ofta visat som 0–100). BLEU är snabbt och jämförbart men fångar varken innebörd eller stil särskilt väl – bra omformuleringar kan få låga poäng.
Vid automatisk textsammanfattning kondenserar AI långa texter till deras huvudpunkter. Extraktiva metoder kopierar viktiga meningar ordagrant, medan abstraktiva metoder formulerar om innehållet; stora språkmodeller arbetar huvudsakligen abstraktivt. Det är användbart för protokoll, rapporter eller långa e-posttrådar; vid viktiga beslut bör sammanfattningen kontrolleras mot originalet.
Inom AI innebär benchmarking att systematiskt jämföra modeller eller system med hjälp av definierade uppgifter och kriterier. Offentliga benchmarks mäter till exempel allmänkunskap, resonemangsförmåga eller programmeringsförmåga; för praktisk användning är dock testfall från den egna vardagen viktigast. Typiska kriterier är korrekthet, fullständighet, svarstid och kostnad. Det hjälper till att avgöra om en mindre, billigare modell räcker för en uppgift.
Naturlig språkgenerering (NLG) är det område inom språkbehandling som skapar begriplig text utifrån data, punktlistor eller andra indata. Tidigare NLG-system byggde på mallar och regler; i dag använder de flesta stora språkmodeller. Typiska användningsområden är väder- och börsrapporter, produktbeskrivningar, sammanfattningar av nyckeltal och svar från chattbotar. Det är viktigt att siffror och fakta från indata förs över korrekt och oförändrade.
