Glossário

Normalização em lote

O que é Normalização em lote?

A normalização em lote (batch normalization) é uma técnica de treino de redes neuronais profundas que reescala os valores intermédios de uma camada, para cada lote de dados, para uma média e uma dispersão consistentes. Isto torna o treino mais estável e muitas vezes mais rápido, e a rede fica menos sensível aos valores iniciais. Introduzida em 2015, é comum nas redes de reconhecimento de imagem; os transformers recorrem normalmente à normalização de camada, uma técnica relacionada.

Temas

Deep learning
Training
Redes neuronais

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Deep learning

O deep learning é um ramo do machine learning que utiliza redes neuronais artificiais com muitas camadas. Estas redes aprendem, a partir de grandes quantidades de dados, quais as características relevantes – desde arestas em imagens a relações de significado em textos. O deep learning está na base dos atuais modelos de linguagem, do reconhecimento de imagem e de voz e da tradução automática, e exige normalmente uma capacidade de cálculo e dados de treino consideráveis.

redes neuronais
machine learning
+1

Dropout

O dropout é uma técnica de regularização usada no treino de redes neuronais: em cada passo de treino, uma parte aleatória dos neurónios é temporariamente desligada. Isto impede que a rede dependa de ligações individuais, pelo que aprende padrões mais robustos. Reduz o sobreajuste, isto é, a mera memorização dos dados de treino. Quando o modelo concluído é utilizado mais tarde, todos os neurónios voltam a estar ativos.

treino
regularização
+1

Regularização

A regularização abrange técnicas que impedem um modelo de se ajustar demasiado aos seus dados de treino durante o treino (sobreajuste). Os exemplos incluem penalizar pesos elevados (regularização L1 ou L2), desligar neurónios de forma aleatória (dropout) ou parar o treino no momento certo (early stopping). O objetivo é um modelo mais simples, que funcione de forma mais fiável com dados novos e desconhecidos, mesmo que obtenha uma pontuação ligeiramente inferior nos dados de treino.

treino
sobreajuste
+1

Descida do gradiente

A descida do gradiente é o método de otimização usado para treinar a maioria dos modelos de IA. Mede-se a dimensão do erro do modelo, calcula-se em que direção os parâmetros têm de mudar para o reduzir e dá-se depois um pequeno passo nessa direção – repetidamente. É como um caminhante em pleno nevoeiro que continua a descer para chegar ao vale. O tamanho do passo (taxa de aprendizagem) determina a velocidade e a estabilidade.

Otimização
Treino de modelos
+1