Scorul BLEU (Bilingual Evaluation Understudy) este o metrică dezvoltată la IBM în 2002 pentru evaluarea automată a traducerilor automate. Măsoară câte secvențe de cuvinte dintr-o traducere apar și în una sau mai multe traduceri umane de referință și oferă o valoare între 0 și 1 (adesea afișată ca 0–100). BLEU este rapid și comparabil, dar nu surprinde bine nici sensul, nici stilul – parafrazele bune pot obține scoruri slabe.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulROUGE (Recall-Oriented Understudy for Gisting Evaluation) este o familie de metrici pentru compararea textelor generate automat – în special a rezumatelor – cu texte de referință scrise de oameni. Măsoară câte cuvinte sau secvențe de cuvinte se suprapun, de exemplu cuvintele individuale în ROUGE-1 sau cea mai lungă subsecvență comună în ROUGE-L. Scorul se calculează rapid, dar nu surprinde în mod fiabil parafrazele cu același sens și nici corectitudinea factuală.
În IA, benchmarkingul înseamnă compararea sistematică a modelelor sau a sistemelor pe baza unor sarcini și criterii definite. Benchmarkurile publice măsoară, de exemplu, cunoștințele generale, capacitatea de raționament sau de programare; pentru utilizarea practică, însă, contează cel mai mult cazurile de test din propria activitate zilnică. Criteriile tipice sunt acuratețea, completitudinea, timpul de răspuns și costul. Acest lucru ajută la a decide dacă un model mai mic și mai ieftin este suficient de bun pentru o sarcină.
Scorul F este o metrică pentru evaluarea modelelor de clasificare. Scorul F1, cel mai des folosit, este media armonică dintre precizie (câte dintre rezultatele prezise sunt corecte) și recall (câte dintre rezultatele reale au fost găsite) și variază între 0 și 1. Este util mai ales în cazul datelor dezechilibrate: un filtru de spam care aproape niciodată nu marchează spamul poate avea o acuratețe ridicată, dar un scor F1 scăzut.
Prelucrarea limbajului natural este ramura IA care permite calculatoarelor să analizeze, să înțeleagă și să genereze limbajul uman în text sau vorbire. Cuprinde sarcini precum traducerea, clasificarea, rezumarea, analiza sentimentelor și răspunsul la întrebări. Cândva dominau regulile și metodele statistice; astăzi domeniul este modelat de modelele lingvistice de mari dimensiuni.
