Регуляризацията обхваща техники, които пречат на модела да се нагласява твърде тясно към данните си за обучение по време на обучението (свръхнагласяне). Примери са наказването на големи тегла (L1 или L2 регуляризация), случайното изключване на неврони (dropout) или спирането на обучението в подходящия момент (early stopping). Целта е по-прост модел, който работи по-надеждно върху нови, невиждани данни, дори ако постига малко по-ниски резултати върху данните за обучение.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоСвръхнагласяне (overfitting) възниква, когато моделът запомня данните за обучение, включително случайните им особености и шум, вместо да улавя общовалидни закономерности. Тогава той изглежда много точен върху познати данни, но се представя слабо върху нови. Типичен признак е голямата разлика между грешката при обучение и при тест. Мерките включват повече или по-разнообразни данни, по-прости модели, регуляризация, dropout и кръстосана валидация.
Dropout е техника за регуляризация при обучение на невронни мрежи: на всяка стъпка от обучението случайна част от невроните временно се изключва. Така мрежата не може да разчита на отделни връзки и се учи на по-устойчиви закономерности. Техниката намалява преобучението, т.е. простото запомняне на обучителните данни. Когато готовият модел се използва по-късно, всички неврони отново са активни.
Грешката на обобщаване измерва доколко ИИ моделът греши върху нови, непознати досега данни – за разлика от грешката му върху обучителните данни. Голяма разлика между двете сочи преобучение: моделът е запомнил примери, вместо да научи общи закономерности. Оценява се с отделени тестови данни или кръстосана валидация. Това е показателят, който наистина има значение, защото на практика моделът се сблъсква почти само с нови случаи.
Недостатъчно нагласяване (underfitting) възниква, когато моделът е твърде прост, за да улови зависимостите в данните. Тогава той прави много грешки както върху данните за обучение, така и върху нови данни, например когато права линия се използва за представяне на ясно извит модел. Мерките включват по-мощен модел, по-информативни признаци, по-дълго обучение или по-малко регуляризация; обратният проблем е свръхнагласяването.
