A entropia cruzada é uma medida da teoria da informação que indica o quanto uma distribuição de probabilidade prevista se desvia da real. No machine learning, é a função de perda mais comum para tarefas de classificação e também para modelos de linguagem que preveem o token seguinte. Penaliza de forma especialmente forte as previsões erradas feitas com confiança: atribuir 99 % à classe errada resulta numa perda muito mais elevada do que atribuir 60 %.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO log loss (perda logarítmica) mede em que medida as probabilidades previstas por um modelo de classificação correspondem aos resultados reais. As previsões confiantes, mas erradas, são penalizadas de forma especialmente forte; um valor próximo de zero indica previsões bem calibradas. Exemplo: se um modelo atribui 95 % de probabilidade de abandono a um cliente que fica, o log loss sobe acentuadamente. Matematicamente, é o mesmo que a entropia cruzada binária.
A descida do gradiente é o método de otimização usado para treinar a maioria dos modelos de IA. Mede-se a dimensão do erro do modelo, calcula-se em que direção os parâmetros têm de mudar para o reduzir e dá-se depois um pequeno passo nessa direção – repetidamente. É como um caminhante em pleno nevoeiro que continua a descer para chegar ao vale. O tamanho do passo (taxa de aprendizagem) determina a velocidade e a estabilidade.
Um classificador é um modelo ou método que atribui entradas a uma de várias categorias predefinidas. As variantes clássicas, como as árvores de decisão ou o naive Bayes, são treinadas com exemplos etiquetados; os modelos de linguagem também podem ordenar textos com base numa descrição das categorias. As utilizações típicas incluem a deteção de spam, a triagem de pedidos de clientes por tema e a categorização de recibos. A qualidade é medida com métricas como a exatidão, a precisão e a revocação.
No machine learning, convergência significa que um processo de treino se aproxima de um estado estável: a perda quase já não diminui e os parâmetros do modelo mudam apenas minimamente. Se um modelo converge, e com que rapidez, depende de fatores como a taxa de aprendizagem, a qualidade dos dados e a arquitetura do modelo. Se a taxa de aprendizagem for demasiado alta, a perda oscila; se for demasiado baixa, o treino demora desnecessariamente. A convergência não garante um bom modelo, pois este pode ainda estar sobreajustado.
