El dropout es una técnica de regularización que se usa al entrenar redes neuronales: en cada paso de entrenamiento se desactiva temporalmente una parte aleatoria de las neuronas. Así la red no puede depender de conexiones concretas y aprende patrones más robustos. Esto reduce el sobreajuste, es decir, memorizar sin más los datos de entrenamiento. Cuando después se usa el modelo terminado, todas las neuronas vuelven a estar activas.
Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.
Iniciar demoEl sobreajuste (overfitting) se produce cuando un modelo memoriza los datos de entrenamiento, incluidos el azar y el ruido, en lugar de captar patrones de validez general. Parece muy preciso con los datos conocidos, pero da malos resultados con datos nuevos. Una señal típica es una gran diferencia entre el error de entrenamiento y el de prueba. Las contramedidas son más datos o datos más variados, modelos más sencillos, regularización, dropout y validación cruzada.
La regularización agrupa técnicas que impiden que un modelo se ajuste demasiado a sus datos de entrenamiento (sobreajuste). Por ejemplo, se penalizan los pesos demasiado grandes (regularización L1 o L2), se desactivan neuronas al azar (dropout) o se detiene el entrenamiento a tiempo (early stopping). El objetivo es un modelo más sencillo que funcione mejor con datos nuevos, aunque obtenga algo menos de acierto con los datos de entrenamiento.
Las redes neuronales artificiales (RNA) son modelos de cálculo formados por muchas unidades conectadas («neuronas»), organizadas en capas, que procesan las entradas mediante conexiones ponderadas. Durante el entrenamiento, los pesos se ajustan paso a paso a partir de ejemplos, normalmente con retropropagación. Las RNA son la base del aprendizaje profundo y están en el reconocimiento de imágenes y de voz y en los grandes modelos de lenguaje. Pese a su inspiración biológica, funcionan de forma mucho más simple que el cerebro humano.
La normalización por lotes (batch normalization) es una técnica para entrenar redes neuronales profundas que ajusta los valores intermedios de una capa, en cada lote de datos, a una media y una dispersión uniformes. Así el entrenamiento es más estable y a menudo más rápido, y la red depende menos de los valores iniciales. Se presentó en 2015 y es habitual en redes de reconocimiento de imágenes; los transformers suelen usar la normalización por capas, una técnica afín.
