Речник

Пакетна нормализация

Какво е Пакетна нормализация?

Пакетната нормализация (batch normalisation) е техника за обучение на дълбоки невронни мрежи, която за всеки пакет от данни мащабира междинните стойности на даден слой до еднакви средна стойност и разсейване. Това прави обучението по-стабилно и често по-бързо, а мрежата става по-малко чувствителна към началните си стойности. Въведена през 2015 г., тя е разпространена в мрежите за разпознаване на изображения; трансформърите обикновено разчитат на сродната нормализация по слой (layer normalisation).

Теми

Дълбоко обучение
Training
Невронни мрежи

Изпробвайте KI.ordo

Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.

Стартирайте демото

← Всички термини

Свързани термини

Дълбоко обучение

Дълбокото обучение е дял от машинното обучение, който използва изкуствени невронни мрежи с много слоеве. Такива мрежи се учат от големи количества данни кои характеристики са важни – от ръбове в изображенията до смислови връзки в текстовете. Дълбокото обучение е в основата на съвременните езикови модели, на разпознаването на образи и реч и на машинния превод и обикновено изисква значителна изчислителна мощност и много обучителни данни.

невронни мрежи
машинно обучение
+1

Dropout

Dropout е техника за регуляризация при обучение на невронни мрежи: на всяка стъпка от обучението случайна част от невроните временно се изключва. Така мрежата не може да разчита на отделни връзки и се учи на по-устойчиви закономерности. Техниката намалява преобучението, т.е. простото запомняне на обучителните данни. Когато готовият модел се използва по-късно, всички неврони отново са активни.

обучение
регуляризация
+1

Регуляризация

Регуляризацията обхваща техники, които пречат на модела да се нагласява твърде тясно към данните си за обучение по време на обучението (свръхнагласяне). Примери са наказването на големи тегла (L1 или L2 регуляризация), случайното изключване на неврони (dropout) или спирането на обучението в подходящия момент (early stopping). Целта е по-прост модел, който работи по-надеждно върху нови, невиждани данни, дори ако постига малко по-ниски резултати върху данните за обучение.

обучение
свръхнагласяне
+1

Градиентно спускане

Градиентното спускане е методът за оптимизация, с който се обучават повечето ИИ модели. Измерва се колко голяма е грешката на модела, изчислява се в каква посока трябва да се променят параметрите, за да намалее, и след това се прави малка стъпка в тази посока – отново и отново. Подобно е на планинар в мъгла, който продължава да върви надолу, за да стигне до долината. Размерът на стъпката (скорост на обучение) определя скоростта и стабилността.

Оптимизация
Обучение на модели
+1