Il punteggio BLEU (Bilingual Evaluation Understudy) è una metrica sviluppata da IBM nel 2002 per valutare automaticamente le traduzioni automatiche. Misura quante sequenze di parole di una traduzione compaiono anche in una o più traduzioni di riferimento umane e restituisce un valore tra 0 e 1 (spesso espresso tra 0 e 100). BLEU è rapido e confrontabile, ma non coglie bene né il significato né lo stile: buone parafrasi possono ottenere punteggi bassi.
Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.
Avvia demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) è una famiglia di metriche che confronta testi generati automaticamente, soprattutto riassunti, con testi di riferimento scritti da persone. Misura quante parole o sequenze di parole coincidono, ad esempio singole parole in ROUGE-1 o la più lunga sottosequenza comune in ROUGE-L. Il valore si calcola rapidamente, ma non coglie in modo affidabile né le riformulazioni con lo stesso significato né la correttezza dei fatti.
Nell'IA il benchmarking è il confronto sistematico di modelli o sistemi in base a compiti e criteri prestabiliti. I benchmark pubblici misurano ad esempio conoscenze generali, ragionamento o capacità di programmazione; per l'uso pratico contano però soprattutto casi di prova tratti dal proprio lavoro quotidiano. Si confrontano di solito correttezza, completezza, tempi di risposta e costi. Così si può decidere se un modello più piccolo ed economico basta per un compito.
L’F-score è un indicatore per valutare i modelli di classificazione. La comune misura F1 è la media armonica tra precisione (quanti dei risultati trovati sono corretti) e richiamo, o recall (quanti dei casi reali sono stati trovati), e varia tra 0 e 1. È particolarmente utile con dati sbilanciati: un filtro antispam che non segnala quasi mai lo spam può avere un’accuratezza alta ma un F1 basso.
L'elaborazione del linguaggio naturale (Natural Language Processing) è il ramo dell'IA che permette ai computer di analizzare, comprendere e generare il linguaggio umano scritto o parlato. Comprende compiti come traduzione, classificazione, riassunto, analisi del sentiment e sistemi di domanda-risposta. Un tempo dominavano regole e metodi statistici; oggi il settore è plasmato dai grandi modelli linguistici.
