La puntuación BLEU (Bilingual Evaluation Understudy) es una métrica desarrollada en IBM en 2002 para evaluar automáticamente traducciones automáticas. Mide cuántas secuencias de palabras de una traducción aparecen también en una o varias traducciones humanas de referencia y da un valor entre 0 y 1 (a menudo expresado de 0 a 100). BLEU es rápida y comparable, pero no capta bien ni el significado ni el estilo: buenas paráfrasis pueden puntuar bajo.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoROUGE (Recall-Oriented Understudy for Gisting Evaluation) es un conjunto de métricas que compara textos generados automáticamente, sobre todo resúmenes, con textos de referencia escritos por personas. Mide cuántas palabras o secuencias de palabras coinciden, por ejemplo palabras sueltas en ROUGE-1 o la subsecuencia común más larga en ROUGE-L. Se calcula rápido, pero no capta de forma fiable las reformulaciones con el mismo sentido ni la exactitud de los hechos.
En IA, el benchmarking es la comparación sistemática de modelos o sistemas mediante tareas y criterios definidos. Los benchmarks públicos miden, por ejemplo, conocimientos generales, razonamiento o capacidad de programación; pero para el uso práctico cuentan sobre todo los casos de prueba de tu propio trabajo diario. Se suelen comparar exactitud, exhaustividad, tiempo de respuesta y coste. Así se puede decidir si un modelo más pequeño y barato basta para una tarea.
El F-score es una métrica para evaluar modelos de clasificación. La medida F1, la más habitual, es la media armónica entre la precisión (cuántos de los aciertos detectados son correctos) y la exhaustividad o recall (cuántos de los casos reales se encontraron), y va de 0 a 1. Resulta especialmente útil con datos desequilibrados: un filtro antispam que casi nunca marca spam puede tener una exactitud alta pero un F1 bajo.
El procesamiento del lenguaje natural (Natural Language Processing, NLP) es la rama de la IA que permite a los ordenadores analizar, comprender y generar lenguaje humano escrito u oral. Abarca tareas como traducción, clasificación, resumen, análisis de sentimiento y sistemas de pregunta-respuesta. Antes predominaban las reglas y los métodos estadísticos; hoy el campo lo marcan los grandes modelos de lenguaje.
