BLEU-scoren (Bilingual Evaluation Understudy) er et mål udviklet hos IBM i 2002 til automatisk evaluering af maskinoversættelser. Den måler, hvor mange ordsekvenser i en oversættelse der også forekommer i en eller flere menneskelige referenceoversættelser, og giver en værdi mellem 0 og 1 (ofte vist som 0–100). BLEU er hurtig og sammenlignelig, men indfanger hverken betydning eller stil særlig godt – gode omskrivninger kan score lavt.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) er en familie af målinger til sammenligning af automatisk genererede tekster – især resuméer – med referencetekster skrevet af mennesker. Den måler, hvor mange ord eller ordfølger der overlapper, f.eks. enkeltord i ROUGE-1 eller den længste fælles delsekvens i ROUGE-L. Scoren er hurtig at beregne, men fanger ikke pålideligt omskrivninger med samme betydning eller faktuel korrekthed.
Inden for AI betyder benchmarking en systematisk sammenligning af modeller eller systemer ud fra definerede opgaver og kriterier. Offentlige benchmarks måler for eksempel almen viden, ræsonnement eller programmeringsevner; til praktisk brug er testcases fra din egen hverdag dog det vigtigste. Typiske kriterier er nøjagtighed, fuldstændighed, svartid og omkostninger. Det hjælper med at afgøre, om en mindre og billigere model er god nok til en opgave.
F-scoren er en måleværdi til evaluering af klassifikationsmodeller. Den almindelige F1-score er det harmoniske gennemsnit af præcision (hvor mange af de forudsagte træffere der er korrekte) og recall (hvor mange af de faktiske træffere der blev fundet) og ligger mellem 0 og 1. Den er især nyttig ved ubalancerede data: Et spamfilter, der næsten aldrig markerer spam, kan have høj nøjagtighed, men en lav F1-score.
Natural language processing er den gren af AI, der gør det muligt for computere at analysere, forstå og generere menneskeligt sprog i tekst eller tale. Det omfatter opgaver som oversættelse, klassifikation, opsummering, sentimentanalyse og spørgsmålsbesvarelse. Tidligere dominerede regler og statistiske metoder; i dag er feltet præget af store sprogmodeller.
