ROUGE (Recall-Oriented Understudy for Gisting Evaluation) este o familie de metrici pentru compararea textelor generate automat – în special a rezumatelor – cu texte de referință scrise de oameni. Măsoară câte cuvinte sau secvențe de cuvinte se suprapun, de exemplu cuvintele individuale în ROUGE-1 sau cea mai lungă subsecvență comună în ROUGE-L. Scorul se calculează rapid, dar nu surprinde în mod fiabil parafrazele cu același sens și nici corectitudinea factuală.
Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.
Porniți demo-ulScorul BLEU (Bilingual Evaluation Understudy) este o metrică dezvoltată la IBM în 2002 pentru evaluarea automată a traducerilor automate. Măsoară câte secvențe de cuvinte dintr-o traducere apar și în una sau mai multe traduceri umane de referință și oferă o valoare între 0 și 1 (adesea afișată ca 0–100). BLEU este rapid și comparabil, dar nu surprinde bine nici sensul, nici stilul – parafrazele bune pot obține scoruri slabe.
În rezumarea automată a textelor, IA condensează texte lungi la punctele lor esențiale. Metodele extractive copiază literal propozițiile importante, în timp ce metodele abstractive reformulează conținutul; modelele lingvistice de mari dimensiuni lucrează în principal abstractiv. Este util pentru procese-verbale, rapoarte sau lanțuri lungi de e-mailuri; pentru decizii importante, rezumatul trebuie verificat în raport cu originalul.
În IA, benchmarkingul înseamnă compararea sistematică a modelelor sau a sistemelor pe baza unor sarcini și criterii definite. Benchmarkurile publice măsoară, de exemplu, cunoștințele generale, capacitatea de raționament sau de programare; pentru utilizarea practică, însă, contează cel mai mult cazurile de test din propria activitate zilnică. Criteriile tipice sunt acuratețea, completitudinea, timpul de răspuns și costul. Acest lucru ajută la a decide dacă un model mai mic și mai ieftin este suficient de bun pentru o sarcină.
Generarea limbajului natural (NLG) este domeniul prelucrării limbajului care produce text inteligibil pornind de la date, puncte-cheie sau alte intrări. Sistemele NLG mai vechi se bazau pe șabloane și reguli; astăzi majoritatea folosesc modele lingvistice de mari dimensiuni. Utilizările tipice includ rapoarte meteo și bursiere, descrieri de produse, rezumate de indicatori și răspunsuri ale chatboturilor. Este important ca cifrele și faptele din date să fie preluate corect și nemodificat.
