O dropout é uma técnica de regularização usada no treino de redes neuronais: em cada passo de treino, uma parte aleatória dos neurónios é temporariamente desligada. Isto impede que a rede dependa de ligações individuais, pelo que aprende padrões mais robustos. Reduz o sobreajuste, isto é, a mera memorização dos dados de treino. Quando o modelo concluído é utilizado mais tarde, todos os neurónios voltam a estar ativos.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO sobreajuste (overfitting) ocorre quando um modelo memoriza os dados de treino, incluindo particularidades aleatórias e ruído, em vez de captar padrões de validade geral. Parece então muito exato com os dados conhecidos, mas tem um mau desempenho com dados novos. Uma grande diferença entre o erro de treino e o erro de teste é um sinal típico. Entre as contramedidas contam-se mais dados ou dados mais variados, modelos mais simples, regularização, dropout e validação cruzada.
A regularização abrange técnicas que impedem um modelo de se ajustar demasiado aos seus dados de treino durante o treino (sobreajuste). Os exemplos incluem penalizar pesos elevados (regularização L1 ou L2), desligar neurónios de forma aleatória (dropout) ou parar o treino no momento certo (early stopping). O objetivo é um modelo mais simples, que funcione de forma mais fiável com dados novos e desconhecidos, mesmo que obtenha uma pontuação ligeiramente inferior nos dados de treino.
As redes neuronais artificiais (RNA) são modelos computacionais compostos por muitas unidades ligadas ("neurónios") dispostas em camadas, que processam entradas através de ligações ponderadas. Durante o treino, os pesos são ajustados passo a passo com exemplos, normalmente por retropropagação. As RNA são a base do deep learning e alimentam o reconhecimento de imagem, o reconhecimento de voz e os grandes modelos de linguagem. Apesar da inspiração biológica, funcionam de forma muito mais simples do que o cérebro humano.
A normalização em lote (batch normalization) é uma técnica de treino de redes neuronais profundas que reescala os valores intermédios de uma camada, para cada lote de dados, para uma média e uma dispersão consistentes. Isto torna o treino mais estável e muitas vezes mais rápido, e a rede fica menos sensível aos valores iniciais. Introduzida em 2015, é comum nas redes de reconhecimento de imagem; os transformers recorrem normalmente à normalização de camada, uma técnica relacionada.
