Свръхнагласяне (overfitting) възниква, когато моделът запомня данните за обучение, включително случайните им особености и шум, вместо да улавя общовалидни закономерности. Тогава той изглежда много точен върху познати данни, но се представя слабо върху нови. Типичен признак е голямата разлика между грешката при обучение и при тест. Мерките включват повече или по-разнообразни данни, по-прости модели, регуляризация, dropout и кръстосана валидация.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоНедостатъчно нагласяване (underfitting) възниква, когато моделът е твърде прост, за да улови зависимостите в данните. Тогава той прави много грешки както върху данните за обучение, така и върху нови данни, например когато права линия се използва за представяне на ясно извит модел. Мерките включват по-мощен модел, по-информативни признаци, по-дълго обучение или по-малко регуляризация; обратният проблем е свръхнагласяването.
Регуляризацията обхваща техники, които пречат на модела да се нагласява твърде тясно към данните си за обучение по време на обучението (свръхнагласяне). Примери са наказването на големи тегла (L1 или L2 регуляризация), случайното изключване на неврони (dropout) или спирането на обучението в подходящия момент (early stopping). Целта е по-прост модел, който работи по-надеждно върху нови, невиждани данни, дори ако постига малко по-ниски резултати върху данните за обучение.
Кръстосаната валидация (cross-validation) е метод за проверка доколко добре един модел обобщава върху нови, непознати данни. При k-кратната кръстосана валидация данните се разделят на k части; моделът се обучава k пъти върху k−1 части и всеки път се тества върху останалата част, след което резултатите се усредняват. Това помага да се открие преобучение и да се сравняват честно модели или настройки, особено когато има малко данни.
Грешката на обобщаване измерва доколко ИИ моделът греши върху нови, непознати досега данни – за разлика от грешката му върху обучителните данни. Голяма разлика между двете сочи преобучение: моделът е запомнил примери, вместо да научи общи закономерности. Оценява се с отделени тестови данни или кръстосана валидация. Това е показателят, който наистина има значение, защото на практика моделът се сблъсква почти само с нови случаи.
