A retropropagação (backpropagation) é o método padrão através do qual as redes neuronais aprendem. Após cada previsão, o erro é medido e propagado para trás pelas camadas da rede, mostrando quanto cada peso contribuiu para ele. Um método de otimização como a descida do gradiente ajusta depois os pesos passo a passo. Sem retropropagação, treinar os atuais modelos de linguagem e de imagem seria praticamente impossível.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoA descida do gradiente é o método de otimização usado para treinar a maioria dos modelos de IA. Mede-se a dimensão do erro do modelo, calcula-se em que direção os parâmetros têm de mudar para o reduzir e dá-se depois um pequeno passo nessa direção – repetidamente. É como um caminhante em pleno nevoeiro que continua a descer para chegar ao vale. O tamanho do passo (taxa de aprendizagem) determina a velocidade e a estabilidade.
As redes neuronais artificiais (RNA) são modelos computacionais compostos por muitas unidades ligadas ("neurónios") dispostas em camadas, que processam entradas através de ligações ponderadas. Durante o treino, os pesos são ajustados passo a passo com exemplos, normalmente por retropropagação. As RNA são a base do deep learning e alimentam o reconhecimento de imagem, o reconhecimento de voz e os grandes modelos de linguagem. Apesar da inspiração biológica, funcionam de forma muito mais simples do que o cérebro humano.
As funções de ativação determinam com que intensidade um neurónio de uma rede neuronal artificial transmite o seu sinal. Introduzem não linearidade – só assim a rede consegue representar relações complexas, como a linguagem ou as imagens. Exemplos comuns são a ReLU, que coloca os valores negativos a zero, a sigmoide, para probabilidades entre 0 e 1, e a GELU, utilizada em muitos modelos transformer. A escolha influencia a velocidade e a estabilidade do treino.
A entropia cruzada é uma medida da teoria da informação que indica o quanto uma distribuição de probabilidade prevista se desvia da real. No machine learning, é a função de perda mais comum para tarefas de classificação e também para modelos de linguagem que preveem o token seguinte. Penaliza de forma especialmente forte as previsões erradas feitas com confiança: atribuir 99 % à classe errada resulta numa perda muito mais elevada do que atribuir 60 %.
