ROUGE (Recall-Oriented Understudy for Gisting Evaluation) es un conjunto de métricas que compara textos generados automáticamente, sobre todo resúmenes, con textos de referencia escritos por personas. Mide cuántas palabras o secuencias de palabras coinciden, por ejemplo palabras sueltas en ROUGE-1 o la subsecuencia común más larga en ROUGE-L. Se calcula rápido, pero no capta de forma fiable las reformulaciones con el mismo sentido ni la exactitud de los hechos.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoLa puntuación BLEU (Bilingual Evaluation Understudy) es una métrica desarrollada en IBM en 2002 para evaluar automáticamente traducciones automáticas. Mide cuántas secuencias de palabras de una traducción aparecen también en una o varias traducciones humanas de referencia y da un valor entre 0 y 1 (a menudo expresado de 0 a 100). BLEU es rápida y comparable, pero no capta bien ni el significado ni el estilo: buenas paráfrasis pueden puntuar bajo.
En el resumen automático, la IA condensa textos largos en sus ideas principales. Los métodos extractivos copian literalmente las frases importantes y los abstractivos reformulan el contenido; los grandes modelos de lenguaje trabajan sobre todo de forma abstractiva. Te resultará útil para actas, informes o largas cadenas de correo; si vas a tomar una decisión importante, contrasta el resumen con el original.
En IA, el benchmarking es la comparación sistemática de modelos o sistemas mediante tareas y criterios definidos. Los benchmarks públicos miden, por ejemplo, conocimientos generales, razonamiento o capacidad de programación; pero para el uso práctico cuentan sobre todo los casos de prueba de tu propio trabajo diario. Se suelen comparar exactitud, exhaustividad, tiempo de respuesta y coste. Así se puede decidir si un modelo más pequeño y barato basta para una tarea.
La generación de lenguaje natural (Natural Language Generation, NLG) es el área del procesamiento del lenguaje que crea textos comprensibles a partir de datos, notas u otras entradas. Antes, los sistemas de NLG funcionaban con plantillas y reglas; hoy suelen usar grandes modelos de lenguaje. Usos típicos son partes meteorológicos y bursátiles, descripciones de productos, resúmenes de indicadores o respuestas de chatbots. Es importante que las cifras y los hechos se trasladen correctamente y sin cambios.
