A descida do gradiente é o método de otimização usado para treinar a maioria dos modelos de IA. Mede-se a dimensão do erro do modelo, calcula-se em que direção os parâmetros têm de mudar para o reduzir e dá-se depois um pequeno passo nessa direção – repetidamente. É como um caminhante em pleno nevoeiro que continua a descer para chegar ao vale. O tamanho do passo (taxa de aprendizagem) determina a velocidade e a estabilidade.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoA retropropagação (backpropagation) é o método padrão através do qual as redes neuronais aprendem. Após cada previsão, o erro é medido e propagado para trás pelas camadas da rede, mostrando quanto cada peso contribuiu para ele. Um método de otimização como a descida do gradiente ajusta depois os pesos passo a passo. Sem retropropagação, treinar os atuais modelos de linguagem e de imagem seria praticamente impossível.
No machine learning, convergência significa que um processo de treino se aproxima de um estado estável: a perda quase já não diminui e os parâmetros do modelo mudam apenas minimamente. Se um modelo converge, e com que rapidez, depende de fatores como a taxa de aprendizagem, a qualidade dos dados e a arquitetura do modelo. Se a taxa de aprendizagem for demasiado alta, a perda oscila; se for demasiado baixa, o treino demora desnecessariamente. A convergência não garante um bom modelo, pois este pode ainda estar sobreajustado.
A entropia cruzada é uma medida da teoria da informação que indica o quanto uma distribuição de probabilidade prevista se desvia da real. No machine learning, é a função de perda mais comum para tarefas de classificação e também para modelos de linguagem que preveem o token seguinte. Penaliza de forma especialmente forte as previsões erradas feitas com confiança: atribuir 99 % à classe errada resulta numa perda muito mais elevada do que atribuir 60 %.
Os hiperparâmetros são definições fixadas antes do treino de um modelo, como a taxa de aprendizagem, o número de camadas ou a intensidade da regularização. A otimização de hiperparâmetros procura sistematicamente a combinação com melhor desempenho nos dados de validação, por exemplo através de pesquisa em grelha, pesquisa aleatória ou otimização bayesiana. Valores bem escolhidos melhoram a exatidão e reduzem o sobreajuste ou o subajuste, mas a pesquisa consome tempo de cálculo.
