ROUGE (Recall-Oriented Understudy for Gisting Evaluation) er en familie af målinger til sammenligning af automatisk genererede tekster – især resuméer – med referencetekster skrevet af mennesker. Den måler, hvor mange ord eller ordfølger der overlapper, f.eks. enkeltord i ROUGE-1 eller den længste fælles delsekvens i ROUGE-L. Scoren er hurtig at beregne, men fanger ikke pålideligt omskrivninger med samme betydning eller faktuel korrekthed.
BLEU-scoren (Bilingual Evaluation Understudy) er et mål udviklet hos IBM i 2002 til automatisk evaluering af maskinoversættelser. Den måler, hvor mange ordsekvenser i en oversættelse der også forekommer i en eller flere menneskelige referenceoversættelser, og giver en værdi mellem 0 og 1 (ofte vist som 0–100). BLEU er hurtig og sammenlignelig, men indfanger hverken betydning eller stil særlig godt – gode omskrivninger kan score lavt.
Ved automatisk tekstopsummering destillerer AI lange tekster ned til deres hovedpunkter. Ekstraktive metoder kopierer vigtige sætninger ordret, mens abstraktive metoder omformulerer indholdet; store sprogmodeller arbejder hovedsageligt abstraktivt. Det er nyttigt til referater, rapporter eller lange e-mailtråde; ved vigtige beslutninger bør resuméet kontrolleres mod originalen.
Inden for AI betyder benchmarking en systematisk sammenligning af modeller eller systemer ud fra definerede opgaver og kriterier. Offentlige benchmarks måler for eksempel almen viden, ræsonnement eller programmeringsevner; til praktisk brug er testcases fra din egen hverdag dog det vigtigste. Typiske kriterier er nøjagtighed, fuldstændighed, svartid og omkostninger. Det hjælper med at afgøre, om en mindre og billigere model er god nok til en opgave.
Natural language generation (NLG) er det område inden for sprogbehandling, der producerer forståelig tekst ud fra data, stikord eller andet input. Tidligere NLG-systemer byggede på skabeloner og regler; i dag bruger de fleste store sprogmodeller. Typiske anvendelser er vejr- og børsrapporter, produktbeskrivelser, opsummeringer af nøgletal og chatbot-svar. Det er vigtigt, at tal og fakta fra inputtet overføres korrekt og uændret.
