La retropropagación (backpropagation) es el método estándar con el que aprenden las redes neuronales. Tras cada predicción se mide el error y se propaga hacia atrás por las capas de la red, lo que muestra cuánto ha contribuido cada peso. Después, un método de optimización como el descenso de gradiente ajusta los pesos paso a paso. Sin retropropagación, entrenar los modelos de lenguaje e imagen actuales sería prácticamente imposible.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoEl descenso del gradiente es el método de optimización con el que se entrena la mayoría de los modelos de IA. Se mide el error del modelo, se calcula en qué dirección deben cambiar los parámetros para reducirlo y se da un pequeño paso en esa dirección, una y otra vez. Es como un excursionista en la niebla que siempre baja por la pendiente para llegar al valle. El tamaño del paso (tasa de aprendizaje) determina la velocidad y la estabilidad.
Las redes neuronales artificiales (RNA) son modelos de cálculo formados por muchas unidades conectadas («neuronas»), organizadas en capas, que procesan las entradas mediante conexiones ponderadas. Durante el entrenamiento, los pesos se ajustan paso a paso a partir de ejemplos, normalmente con retropropagación. Las RNA son la base del aprendizaje profundo y están en el reconocimiento de imágenes y de voz y en los grandes modelos de lenguaje. Pese a su inspiración biológica, funcionan de forma mucho más simple que el cerebro humano.
Las funciones de activación determinan con qué intensidad una neurona de una red neuronal artificial transmite su señal. Introducen no linealidad: solo así la red puede representar relaciones complejas como el lenguaje o las imágenes. Ejemplos habituales son ReLU, que convierte los valores negativos en cero, la sigmoide para probabilidades entre 0 y 1 y GELU, usada en muchos modelos transformer. La elección influye en la velocidad y la estabilidad del entrenamiento.
La entropía cruzada es una medida de la teoría de la información que indica cuánto se desvía una distribución de probabilidad prevista de la real. En aprendizaje automático es la función de pérdida más habitual para tareas de clasificación y también para modelos de lenguaje que predicen el siguiente token. Penaliza sobre todo las predicciones erróneas hechas con mucha seguridad: asignar un 99 % a la clase equivocada da una pérdida mucho mayor que asignar un 60 %.
