O erro de generalização mede o quanto um modelo de IA falha em dados novos, nunca vistos – por oposição ao seu erro nos dados de treino. Uma grande diferença entre os dois indica sobreajuste: o modelo memorizou exemplos em vez de aprender padrões gerais. É estimado com dados de teste reservados ou validação cruzada. É o valor que realmente conta, porque, na prática, um modelo encontra quase só casos novos.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO sobreajuste (overfitting) ocorre quando um modelo memoriza os dados de treino, incluindo particularidades aleatórias e ruído, em vez de captar padrões de validade geral. Parece então muito exato com os dados conhecidos, mas tem um mau desempenho com dados novos. Uma grande diferença entre o erro de treino e o erro de teste é um sinal típico. Entre as contramedidas contam-se mais dados ou dados mais variados, modelos mais simples, regularização, dropout e validação cruzada.
O subajuste (underfitting) ocorre quando um modelo é demasiado simples para captar as relações nos dados. Comete então muitos erros tanto nos dados de treino como em dados novos, por exemplo quando se usa uma reta para representar um padrão claramente curvo. Entre as soluções contam-se um modelo mais potente, características mais informativas, treino mais longo ou menos regularização; o problema oposto é o sobreajuste.
O erro de treino indica quanto as previsões de um modelo se desviam dos valores corretos precisamente nos dados com que foi treinado. Por si só, diz pouco: o que importa é a comparação com o erro de generalização em dados novos. Um erro de treino elevado aponta para subajuste; um erro de treino muito baixo combinado com um erro elevado nos dados de teste sinaliza, em geral, sobreajuste.
A validação cruzada é um método para verificar em que medida um modelo generaliza para dados novos, nunca vistos. Na validação cruzada k-fold, os dados são divididos em k partes; o modelo é treinado k vezes em k−1 partes e testado de cada vez na parte restante, após o que os resultados são calculados em média. Isto ajuda a detetar o sobreajuste e a comparar modelos ou configurações de forma justa, sobretudo quando há poucos dados.
