As funções de ativação determinam com que intensidade um neurónio de uma rede neuronal artificial transmite o seu sinal. Introduzem não linearidade – só assim a rede consegue representar relações complexas, como a linguagem ou as imagens. Exemplos comuns são a ReLU, que coloca os valores negativos a zero, a sigmoide, para probabilidades entre 0 e 1, e a GELU, utilizada em muitos modelos transformer. A escolha influencia a velocidade e a estabilidade do treino.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoAs redes neuronais artificiais (RNA) são modelos computacionais compostos por muitas unidades ligadas ("neurónios") dispostas em camadas, que processam entradas através de ligações ponderadas. Durante o treino, os pesos são ajustados passo a passo com exemplos, normalmente por retropropagação. As RNA são a base do deep learning e alimentam o reconhecimento de imagem, o reconhecimento de voz e os grandes modelos de linguagem. Apesar da inspiração biológica, funcionam de forma muito mais simples do que o cérebro humano.
A retropropagação (backpropagation) é o método padrão através do qual as redes neuronais aprendem. Após cada previsão, o erro é medido e propagado para trás pelas camadas da rede, mostrando quanto cada peso contribuiu para ele. Um método de otimização como a descida do gradiente ajusta depois os pesos passo a passo. Sem retropropagação, treinar os atuais modelos de linguagem e de imagem seria praticamente impossível.
O deep learning é um ramo do machine learning que utiliza redes neuronais artificiais com muitas camadas. Estas redes aprendem, a partir de grandes quantidades de dados, quais as características relevantes – desde arestas em imagens a relações de significado em textos. O deep learning está na base dos atuais modelos de linguagem, do reconhecimento de imagem e de voz e da tradução automática, e exige normalmente uma capacidade de cálculo e dados de treino consideráveis.
