Градиентното спускане е методът за оптимизация, с който се обучават повечето ИИ модели. Измерва се колко голяма е грешката на модела, изчислява се в каква посока трябва да се променят параметрите, за да намалее, и след това се прави малка стъпка в тази посока – отново и отново. Подобно е на планинар в мъгла, който продължава да върви надолу, за да стигне до долината. Размерът на стъпката (скорост на обучение) определя скоростта и стабилността.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоОбратното разпространение на грешката (backpropagation) е стандартният метод, по който невронните мрежи се учат. След всяка прогноза грешката се измерва и се разпространява назад през слоевете на мрежата, като показва колко всяко тегло е допринесло за нея. След това метод за оптимизация като градиентното спускане коригира теглата стъпка по стъпка. Без обратното разпространение обучението на днешните езикови модели и модели за изображения би било практически невъзможно.
В машинното обучение сходимост означава, че процедурата на обучение се приближава към стабилно състояние: загубата почти не намалява повече, а параметрите на модела се променят минимално. Дали и колко бързо един модел се доближава до сходимост, зависи от фактори като скорост на обучение, качество на данните и архитектура на модела. Ако скоростта на обучение е твърде висока, загубата скача; ако е твърде ниска, обучението продължава излишно дълго. Сходимостта не гарантира добър модел, тъй като той все още може да е преобучен.
Кръстосаната ентропия (cross-entropy) е мярка от теорията на информацията, която показва доколко прогнозираното вероятностно разпределение се отклонява от действителното. В машинното обучение тя е най-разпространената функция на загубата за задачи за класификация, а също и за езикови модели, които предвиждат следващия токен. Тя наказва особено силно уверените грешни прогнози: приписването на 99% на грешния клас води до много по-висока загуба, отколкото приписването на 60%.
Хиперпараметрите са настройки, които се определят преди обучението на даден модел, като скоростта на обучение, броят на слоевете или силата на регуляризацията. Оптимизацията на хиперпараметрите системно търси комбинацията, която дава най-добри резултати върху валидационните данни, например чрез търсене по решетка, случайно търсене или байесова оптимизация. Добре избраните стойности подобряват точността и намаляват преобучението или недообучението, но търсенето изразходва изчислително време.
