Dropout е техника за регуляризация при обучение на невронни мрежи: на всяка стъпка от обучението случайна част от невроните временно се изключва. Така мрежата не може да разчита на отделни връзки и се учи на по-устойчиви закономерности. Техниката намалява преобучението, т.е. простото запомняне на обучителните данни. Когато готовият модел се използва по-късно, всички неврони отново са активни.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоСвръхнагласяне (overfitting) възниква, когато моделът запомня данните за обучение, включително случайните им особености и шум, вместо да улавя общовалидни закономерности. Тогава той изглежда много точен върху познати данни, но се представя слабо върху нови. Типичен признак е голямата разлика между грешката при обучение и при тест. Мерките включват повече или по-разнообразни данни, по-прости модели, регуляризация, dropout и кръстосана валидация.
Регуляризацията обхваща техники, които пречат на модела да се нагласява твърде тясно към данните си за обучение по време на обучението (свръхнагласяне). Примери са наказването на големи тегла (L1 или L2 регуляризация), случайното изключване на неврони (dropout) или спирането на обучението в подходящия момент (early stopping). Целта е по-прост модел, който работи по-надеждно върху нови, невиждани данни, дори ако постига малко по-ниски резултати върху данните за обучение.
Изкуствените невронни мрежи (artificial neural networks, ANN) са изчислителни модели, съставени от много свързани единици („неврони“), разположени на слоеве, които обработват входните данни чрез претеглени връзки. По време на обучението теглата се коригират стъпка по стъпка с помощта на примери, обикновено чрез обратно разпространение на грешката. ANN са основата на дълбокото обучение и задвижват разпознаването на образи, разпознаването на реч и големите езикови модели. Въпреки биологичното вдъхновение те работят много по-просто от човешкия мозък.
Пакетната нормализация (batch normalisation) е техника за обучение на дълбоки невронни мрежи, която за всеки пакет от данни мащабира междинните стойности на даден слой до еднакви средна стойност и разсейване. Това прави обучението по-стабилно и често по-бързо, а мрежата става по-малко чувствителна към началните си стойности. Въведена през 2015 г., тя е разпространена в мрежите за разпознаване на изображения; трансформърите обикновено разчитат на сродната нормализация по слой (layer normalisation).
