ES
Iniciar sesiónEmpezar
Glosario

Benchmarking

¿Qué es Benchmarking?

En IA, el benchmarking es la comparación sistemática de modelos o sistemas mediante tareas y criterios definidos. Los benchmarks públicos miden, por ejemplo, conocimientos generales, razonamiento o capacidad de programación; pero para el uso práctico cuentan sobre todo los casos de prueba de tu propio trabajo diario. Se suelen comparar exactitud, exhaustividad, tiempo de respuesta y coste. Así se puede decidir si un modelo más pequeño y barato basta para una tarea.

Cómo ayuda KI.ordo

La plantilla de KI.ordo «Comparar modelos (benchmark)» envía la misma tarea a un modelo Claude Haiku y a uno Claude Sonnet y valora ambas respuestas por exactitud, exhaustividad y claridad.

Más información →: Benchmarking

Plantillas adecuadas

Temas

  • Comparación de modelos
  • Evaluación
  • Calidad

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo
← Todos los términos

Términos relacionados

Precisión y estabilidad de los modelos de IA

La precisión describe con qué frecuencia un modelo de IA da resultados correctos; la estabilidad, hasta qué punto ese rendimiento se mantiene con entradas ligeramente distintas, datos nuevos o con el paso del tiempo. Un modelo puede ser muy preciso en las pruebas y, aun así, inestable si basta con reformular una pregunta para obtener otra respuesta. En producción, ambas propiedades se comprueban con casos de prueba fijos, validación cruzada y supervisión continua.

  • Calidad del modelo
  • Robustez
  • +1

Especialista en control de calidad de IA

Un especialista en control de calidad de IA comprueba que las aplicaciones de IA funcionen de forma fiable, correcta y adecuada. Su trabajo incluye preguntas de prueba y benchmarks, comparar modelos, analizar las valoraciones de los usuarios y detectar alucinaciones o deterioros con el tiempo. Por ejemplo, antes de cambiar a un modelo nuevo, ambos modelos responden a 50 consultas típicas de clientes y se comparan con criterios fijos.

  • Calidad
  • Pruebas
  • +1
Plantilla

Costes de los LLM

Los costes de los grandes modelos de lenguaje se facturan normalmente por tokens, unidades de texto que van de una sílaba a una palabra; los tokens de entrada y de salida tienen precios distintos y la salida suele ser más cara. Los modelos grandes cuestan más por token que los pequeños y rápidos como Claude Haiku, a menudo suficientes para tareas sencillas. El almacenamiento en caché de prompts reduce costes cuando envías varias veces el mismo contexto largo. También ayudan instrucciones breves y un conocimiento bien seleccionado.

  • Costes
  • Tokens
  • +1

Puntuación BLEU

La puntuación BLEU (Bilingual Evaluation Understudy) es una métrica desarrollada en IBM en 2002 para evaluar automáticamente traducciones automáticas. Mide cuántas secuencias de palabras de una traducción aparecen también en una o varias traducciones humanas de referencia y da un valor entre 0 y 1 (a menudo expresado de 0 a 100). BLEU es rápida y comparable, pero no capta bien ni el significado ni el estilo: buenas paráfrasis pueden puntuar bajo.

  • Evaluación
  • Traducción
  • +1