La entropía cruzada es una medida de la teoría de la información que indica cuánto se desvía una distribución de probabilidad prevista de la real. En aprendizaje automático es la función de pérdida más habitual para tareas de clasificación y también para modelos de lenguaje que predicen el siguiente token. Penaliza sobre todo las predicciones erróneas hechas con mucha seguridad: asignar un 99 % a la clase equivocada da una pérdida mucho mayor que asignar un 60 %.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoLa pérdida logarítmica (log loss) mide hasta qué punto las probabilidades que predice un modelo de clasificación coinciden con los resultados reales. Las predicciones seguras pero erróneas se penalizan con especial dureza; un valor cercano a cero indica pronósticos bien calibrados. Ejemplo: si un modelo da un 95 % de probabilidad de baja a un cliente que se queda, la pérdida sube claramente. Matemáticamente equivale a la entropía cruzada binaria.
El descenso del gradiente es el método de optimización con el que se entrena la mayoría de los modelos de IA. Se mide el error del modelo, se calcula en qué dirección deben cambiar los parámetros para reducirlo y se da un pequeño paso en esa dirección, una y otra vez. Es como un excursionista en la niebla que siempre baja por la pendiente para llegar al valle. El tamaño del paso (tasa de aprendizaje) determina la velocidad y la estabilidad.
Un clasificador es un modelo o método que asigna una entrada a una de varias categorías predefinidas. Las variantes clásicas, como los árboles de decisión o Naive Bayes, se entrenan con ejemplos etiquetados; los modelos de lenguaje también pueden clasificar textos a partir de una descripción de las categorías. Usos típicos son detectar spam, ordenar consultas de clientes por tema o clasificar justificantes. La calidad se mide con métricas como exactitud, precisión y exhaustividad (recall).
En aprendizaje automático, la convergencia significa que un entrenamiento se acerca a un estado estable: la función de pérdida apenas disminuye y los parámetros del modelo cambian mínimamente. Si un modelo converge y con qué rapidez depende, entre otros, de la tasa de aprendizaje, la calidad de los datos y la arquitectura. Con una tasa demasiado alta el error oscila; demasiado baja, el entrenamiento se alarga sin necesidad. La convergencia no garantiza un buen modelo, que puede estar sobreajustado.
