Грешката на обобщаване измерва доколко ИИ моделът греши върху нови, непознати досега данни – за разлика от грешката му върху обучителните данни. Голяма разлика между двете сочи преобучение: моделът е запомнил примери, вместо да научи общи закономерности. Оценява се с отделени тестови данни или кръстосана валидация. Това е показателят, който наистина има значение, защото на практика моделът се сблъсква почти само с нови случаи.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоСвръхнагласяне (overfitting) възниква, когато моделът запомня данните за обучение, включително случайните им особености и шум, вместо да улавя общовалидни закономерности. Тогава той изглежда много точен върху познати данни, но се представя слабо върху нови. Типичен признак е голямата разлика между грешката при обучение и при тест. Мерките включват повече или по-разнообразни данни, по-прости модели, регуляризация, dropout и кръстосана валидация.
Недостатъчно нагласяване (underfitting) възниква, когато моделът е твърде прост, за да улови зависимостите в данните. Тогава той прави много грешки както върху данните за обучение, така и върху нови данни, например когато права линия се използва за представяне на ясно извит модел. Мерките включват по-мощен модел, по-информативни признаци, по-дълго обучение или по-малко регуляризация; обратният проблем е свръхнагласяването.
Грешката при обучение показва доколко прогнозите на модела се отклоняват от правилните стойности върху същите данни, върху които е обучен. Сама по себе си тя казва малко: важно е сравнението с грешката на обобщаване върху нови данни. Висока грешка при обучение сочи недостатъчно нагласяване (underfitting); много ниска грешка при обучение, съчетана с висока грешка върху тестови данни, обикновено е признак за свръхнагласяване.
Кръстосаната валидация (cross-validation) е метод за проверка доколко добре един модел обобщава върху нови, непознати данни. При k-кратната кръстосана валидация данните се разделят на k части; моделът се обучава k пъти върху k−1 части и всеки път се тества върху останалата част, след което резултатите се усредняват. Това помага да се открие преобучение и да се сравняват честно модели или настройки, особено когато има малко данни.
