Glosario

Aprendizaje por refuerzo con retroalimentación humana (RLHF)

¿Qué es Aprendizaje por refuerzo con retroalimentación humana (RLHF)?

El RLHF es un método de entrenamiento que hace que los modelos de lenguaje sean más útiles y seguros. Varias personas comparan y valoran distintas respuestas del modelo; con esos juicios se entrena un modelo de recompensa, que después reentrena el propio modelo de lenguaje mediante aprendizaje por refuerzo. Así aprende, por ejemplo, a responder con más claridad o a rechazar peticiones problemáticas. El RLHF lo realiza el proveedor del modelo antes de publicarlo, no cada usuario.

Cómo ayuda KI.ordo

Las valoraciones 👍/👎 en KI.ordo no reentrenan el modelo; indican dónde conviene mejorar el conocimiento o las instrucciones de un agente.

Más información →

Temas

entrenamiento
retroalimentación humana
modelos de lenguaje

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo

← Todos los términos

Términos relacionados

Aprendizaje por refuerzo (RL)

El aprendizaje por refuerzo (reinforcement learning) es una rama del aprendizaje automático en la que un agente aprende por ensayo y error. Actúa en un entorno, recibe recompensas por los buenos resultados y penalizaciones por los malos, y así desarrolla una estrategia que maximiza el beneficio total. Ejemplos conocidos son los programas que dominan juegos de mesa como el go, el control de robots o el ajuste de modelos de lenguaje a partir de valoraciones humanas.

método de aprendizaje
recompensa
+1

Ajuste por instrucciones (instruction tuning)

El instruction tuning es una forma de ajuste fino en la que un modelo de lenguaje preentrenado se sigue entrenando con muchos pares de instrucción y respuesta deseada. Así el modelo aprende a cumplir tareas formuladas en lenguaje natural en lugar de limitarse a continuar un texto. Es un paso clave para convertir un modelo base en un asistente y suele combinarse con métodos como RLHF. Ejemplo: «Resume este texto en tres frases» se ejecuta de forma fiable.

Ajuste fino
Modelos de lenguaje
+1

IA constitucional

La IA constitucional (Constitutional AI) es un método de entrenamiento de modelos de lenguaje publicado por Anthropic en 2022; no tiene relación con el derecho constitucional. Se basa en un catálogo escrito de principios, la «constitución»: el modelo critica y revisa sus propias respuestas según esos principios, después una IA compara pares de respuestas y esas valoraciones sirven como señal de recompensa en el aprendizaje por refuerzo (RLAIF). Así se reduce la necesidad de que personas evalúen contenidos dañinos; en enero de 2026 Anthropic publicó una constitución revisada para Claude.

Entrenamiento
Seguridad de la IA
+1

Ajuste fino (fine-tuning)

El ajuste fino (fine-tuning) consiste en seguir entrenando un modelo de IA ya preentrenado con datos adicionales, normalmente específicos de una tarea. Se modifican sus pesos internos para que domine con más fiabilidad, por ejemplo, un estilo de redacción, un vocabulario técnico o un formato de salida. Requiere ejemplos bien preparados, capacidad de cálculo y pruebas. Para muchas aplicaciones bastan unas instrucciones bien redactadas y conocimiento conectado, que son más fáciles de cambiar.

Entrenamiento
Personalización
+1