El descenso del gradiente es el método de optimización con el que se entrena la mayoría de los modelos de IA. Se mide el error del modelo, se calcula en qué dirección deben cambiar los parámetros para reducirlo y se da un pequeño paso en esa dirección, una y otra vez. Es como un excursionista en la niebla que siempre baja por la pendiente para llegar al valle. El tamaño del paso (tasa de aprendizaje) determina la velocidad y la estabilidad.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoLa retropropagación (backpropagation) es el método estándar con el que aprenden las redes neuronales. Tras cada predicción se mide el error y se propaga hacia atrás por las capas de la red, lo que muestra cuánto ha contribuido cada peso. Después, un método de optimización como el descenso de gradiente ajusta los pesos paso a paso. Sin retropropagación, entrenar los modelos de lenguaje e imagen actuales sería prácticamente imposible.
En aprendizaje automático, la convergencia significa que un entrenamiento se acerca a un estado estable: la función de pérdida apenas disminuye y los parámetros del modelo cambian mínimamente. Si un modelo converge y con qué rapidez depende, entre otros, de la tasa de aprendizaje, la calidad de los datos y la arquitectura. Con una tasa demasiado alta el error oscila; demasiado baja, el entrenamiento se alarga sin necesidad. La convergencia no garantiza un buen modelo, que puede estar sobreajustado.
La entropía cruzada es una medida de la teoría de la información que indica cuánto se desvía una distribución de probabilidad prevista de la real. En aprendizaje automático es la función de pérdida más habitual para tareas de clasificación y también para modelos de lenguaje que predicen el siguiente token. Penaliza sobre todo las predicciones erróneas hechas con mucha seguridad: asignar un 99 % a la clase equivocada da una pérdida mucho mayor que asignar un 60 %.
Los hiperparámetros son ajustes que se fijan antes de entrenar un modelo, como la tasa de aprendizaje, el número de capas o la intensidad de la regularización. La optimización de hiperparámetros busca de forma sistemática la combinación que mejor funciona con datos de validación, por ejemplo mediante búsqueda en cuadrícula, búsqueda aleatoria u optimización bayesiana. Unos valores bien elegidos mejoran la precisión y reducen el sobreajuste o el subajuste, aunque la búsqueda consume tiempo de cómputo.
