El Q-learning es un método fundamental del aprendizaje por refuerzo. Un agente aprende por ensayo y error qué valor a largo plazo (el «valor Q») tiene una acción concreta en una situación concreta y, con el tiempo, elige las acciones más prometedoras. No necesita un modelo de su entorno. Combinado con redes neuronales (deep Q-learning), permitió a un sistema de DeepMind aprender a jugar a numerosos videojuegos de Atari solo a partir de los píxeles de la pantalla.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoEl aprendizaje por refuerzo (reinforcement learning) es una rama del aprendizaje automático en la que un agente aprende por ensayo y error. Actúa en un entorno, recibe recompensas por los buenos resultados y penalizaciones por los malos, y así desarrolla una estrategia que maximiza el beneficio total. Ejemplos conocidos son los programas que dominan juegos de mesa como el go, el control de robots o el ajuste de modelos de lenguaje a partir de valoraciones humanas.
El RLHF es un método de entrenamiento que hace que los modelos de lenguaje sean más útiles y seguros. Varias personas comparan y valoran distintas respuestas del modelo; con esos juicios se entrena un modelo de recompensa, que después reentrena el propio modelo de lenguaje mediante aprendizaje por refuerzo. Así aprende, por ejemplo, a responder con más claridad o a rechazar peticiones problemáticas. El RLHF lo realiza el proveedor del modelo antes de publicarlo, no cada usuario.
Los métodos de Montecarlo son técnicas de cálculo que, mediante un número muy elevado de muestras aleatorias, aproximan resultados difíciles de obtener de forma analítica. Se simula un sistema miles de veces con supuestos variados al azar y se analiza la distribución de los resultados. Las empresas los usan, por ejemplo, para análisis de riesgos, planificación de proyectos o valoración de carteras. En IA se aplican, entre otros, en el aprendizaje por refuerzo y en la búsqueda en árbol para juegos.
Las redes neuronales artificiales (RNA) son modelos de cálculo formados por muchas unidades conectadas («neuronas»), organizadas en capas, que procesan las entradas mediante conexiones ponderadas. Durante el entrenamiento, los pesos se ajustan paso a paso a partir de ejemplos, normalmente con retropropagación. Las RNA son la base del aprendizaje profundo y están en el reconocimiento de imágenes y de voz y en los grandes modelos de lenguaje. Pese a su inspiración biológica, funcionan de forma mucho más simple que el cerebro humano.
