La validación cruzada es un método para comprobar lo bien que un modelo generaliza a datos nuevos. En la validación cruzada de k iteraciones, los datos se dividen en k partes; el modelo se entrena k veces con k−1 partes y se evalúa cada vez con la parte restante, y después se promedian los resultados. Así detectas el sobreajuste y comparas de forma justa modelos o configuraciones, sobre todo con pocos datos.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoEl sobreajuste (overfitting) se produce cuando un modelo memoriza los datos de entrenamiento, incluidos el azar y el ruido, en lugar de captar patrones de validez general. Parece muy preciso con los datos conocidos, pero da malos resultados con datos nuevos. Una señal típica es una gran diferencia entre el error de entrenamiento y el de prueba. Las contramedidas son más datos o datos más variados, modelos más sencillos, regularización, dropout y validación cruzada.
El error de generalización mide cuánto se equivoca un modelo de IA con datos nuevos que no ha visto antes, a diferencia del error con los datos de entrenamiento. Una gran diferencia entre ambos indica sobreajuste: el modelo ha memorizado ejemplos en vez de aprender patrones generales. Se estima con datos de prueba reservados o validación cruzada. Es la cifra que de verdad importa, porque en uso real el modelo casi solo encuentra casos nuevos.
Los hiperparámetros son ajustes que se fijan antes de entrenar un modelo, como la tasa de aprendizaje, el número de capas o la intensidad de la regularización. La optimización de hiperparámetros busca de forma sistemática la combinación que mejor funciona con datos de validación, por ejemplo mediante búsqueda en cuadrícula, búsqueda aleatoria u optimización bayesiana. Unos valores bien elegidos mejoran la precisión y reducen el sobreajuste o el subajuste, aunque la búsqueda consume tiempo de cómputo.
Los datos de entrenamiento son los ejemplos con los que un modelo de IA aprende patrones: grandes colecciones de texto en los modelos de lenguaje, imágenes etiquetadas en los de visión. Su calidad, variedad y actualidad determinan en gran medida lo fiable y justo que será el modelo y lo actualizado que estará su conocimiento. Para tu empresa también importa si un proveedor usa los datos de clientes que introduces para seguir entrenando.
