Glossario

Punteggio ROUGE

Che cos’è Punteggio ROUGE?

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) è una famiglia di metriche che confronta testi generati automaticamente, soprattutto riassunti, con testi di riferimento scritti da persone. Misura quante parole o sequenze di parole coincidono, ad esempio singole parole in ROUGE-1 o la più lunga sottosequenza comune in ROUGE-L. Il valore si calcola rapidamente, ma non coglie in modo affidabile né le riformulazioni con lo stesso significato né la correttezza dei fatti.

Temi

metrica
riassunto automatico
valutazione

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Punteggio BLEU

Il punteggio BLEU (Bilingual Evaluation Understudy) è una metrica sviluppata da IBM nel 2002 per valutare automaticamente le traduzioni automatiche. Misura quante sequenze di parole di una traduzione compaiono anche in una o più traduzioni di riferimento umane e restituisce un valore tra 0 e 1 (spesso espresso tra 0 e 100). BLEU è rapido e confrontabile, ma non coglie bene né il significato né lo stile: buone parafrasi possono ottenere punteggi bassi.

Valutazione
Traduzione
+1

Riassunto automatico di testi

Nel riassunto automatico l'IA condensa testi lunghi nei loro punti essenziali. I metodi estrattivi riprendono alla lettera le frasi più importanti, quelli astrattivi riformulano il contenuto; i grandi modelli linguistici lavorano soprattutto in modo astrattivo. È utile per verbali, relazioni o lunghe catene di e-mail; per decisioni importanti conviene confrontare il riassunto con l'originale.

NLP
Riassunto
+1

Modello

Benchmarking

Nell'IA il benchmarking è il confronto sistematico di modelli o sistemi in base a compiti e criteri prestabiliti. I benchmark pubblici misurano ad esempio conoscenze generali, ragionamento o capacità di programmazione; per l'uso pratico contano però soprattutto casi di prova tratti dal proprio lavoro quotidiano. Si confrontano di solito correttezza, completezza, tempi di risposta e costi. Così si può decidere se un modello più piccolo ed economico basta per un compito.

Confronto modelli
Valutazione
+1

Modello

Generazione del linguaggio naturale (NLG)

La generazione del linguaggio naturale (Natural Language Generation, NLG) è l’ambito dell’elaborazione del linguaggio che produce testi comprensibili a partire da dati, appunti o altri input. In passato i sistemi NLG usavano modelli e regole, oggi per lo più modelli linguistici di grandi dimensioni. Usi tipici sono bollettini meteo e di borsa, descrizioni di prodotti, sintesi di indicatori o risposte dei chatbot. È importante che numeri e fatti vengano riportati correttamente e senza modifiche.

elaborazione del linguaggio
generazione di testo
+1

Modello