ES
Iniciar sesiónEmpezar
Glosario

Normalización por lotes

¿Qué es Normalización por lotes?

La normalización por lotes (batch normalization) es una técnica para entrenar redes neuronales profundas que ajusta los valores intermedios de una capa, en cada lote de datos, a una media y una dispersión uniformes. Así el entrenamiento es más estable y a menudo más rápido, y la red depende menos de los valores iniciales. Se presentó en 2015 y es habitual en redes de reconocimiento de imágenes; los transformers suelen usar la normalización por capas, una técnica afín.

Temas

  • Aprendizaje profundo
  • Entrenamiento
  • Redes neuronales

Probar KI.ordo

Agentes, flujos y plantillas en un solo espacio de trabajo – demo gratuita de 24 horas.

Iniciar demo
← Todos los términos

Términos relacionados

Aprendizaje profundo

El aprendizaje profundo (deep learning) es una rama del aprendizaje automático que utiliza redes neuronales artificiales con muchas capas. Estas redes aprenden por sí mismas, a partir de grandes cantidades de datos, qué rasgos son importantes, desde bordes en imágenes hasta relaciones de significado en textos. Es la base de los modelos de lenguaje actuales, del reconocimiento de imágenes y voz y de la traducción automática, y suele requerir mucha potencia de cálculo y datos.

  • redes neuronales
  • aprendizaje automático
  • +1

Dropout

El dropout es una técnica de regularización que se usa al entrenar redes neuronales: en cada paso de entrenamiento se desactiva temporalmente una parte aleatoria de las neuronas. Así la red no puede depender de conexiones concretas y aprende patrones más robustos. Esto reduce el sobreajuste, es decir, memorizar sin más los datos de entrenamiento. Cuando después se usa el modelo terminado, todas las neuronas vuelven a estar activas.

  • entrenamiento
  • regularización
  • +1

Regularización

La regularización agrupa técnicas que impiden que un modelo se ajuste demasiado a sus datos de entrenamiento (sobreajuste). Por ejemplo, se penalizan los pesos demasiado grandes (regularización L1 o L2), se desactivan neuronas al azar (dropout) o se detiene el entrenamiento a tiempo (early stopping). El objetivo es un modelo más sencillo que funcione mejor con datos nuevos, aunque obtenga algo menos de acierto con los datos de entrenamiento.

  • entrenamiento
  • sobreajuste
  • +1

Descenso del gradiente

El descenso del gradiente es el método de optimización con el que se entrena la mayoría de los modelos de IA. Se mide el error del modelo, se calcula en qué dirección deben cambiar los parámetros para reducirlo y se da un pequeño paso en esa dirección, una y otra vez. Es como un excursionista en la niebla que siempre baja por la pendiente para llegar al valle. El tamaño del paso (tasa de aprendizaje) determina la velocidad y la estabilidad.

  • Optimización
  • Entrenamiento
  • +1