Обратното разпространение на грешката (backpropagation) е стандартният метод, по който невронните мрежи се учат. След всяка прогноза грешката се измерва и се разпространява назад през слоевете на мрежата, като показва колко всяко тегло е допринесло за нея. След това метод за оптимизация като градиентното спускане коригира теглата стъпка по стъпка. Без обратното разпространение обучението на днешните езикови модели и модели за изображения би било практически невъзможно.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоГрадиентното спускане е методът за оптимизация, с който се обучават повечето ИИ модели. Измерва се колко голяма е грешката на модела, изчислява се в каква посока трябва да се променят параметрите, за да намалее, и след това се прави малка стъпка в тази посока – отново и отново. Подобно е на планинар в мъгла, който продължава да върви надолу, за да стигне до долината. Размерът на стъпката (скорост на обучение) определя скоростта и стабилността.
Изкуствените невронни мрежи (artificial neural networks, ANN) са изчислителни модели, съставени от много свързани единици („неврони“), разположени на слоеве, които обработват входните данни чрез претеглени връзки. По време на обучението теглата се коригират стъпка по стъпка с помощта на примери, обикновено чрез обратно разпространение на грешката. ANN са основата на дълбокото обучение и задвижват разпознаването на образи, разпознаването на реч и големите езикови модели. Въпреки биологичното вдъхновение те работят много по-просто от човешкия мозък.
Активационните функции определят колко силно неврон в изкуствена невронна мрежа предава сигнала си. Те въвеждат нелинейност – едва тогава мрежата може да представя сложни зависимости като езика или изображенията. Често срещани примери са ReLU, която нулира отрицателните стойности, сигмоидата за вероятности между 0 и 1 и GELU, използвана в много трансформърни модели. Изборът влияе върху скоростта и стабилността на обучението.
Кръстосаната ентропия (cross-entropy) е мярка от теорията на информацията, която показва доколко прогнозираното вероятностно разпределение се отклонява от действителното. В машинното обучение тя е най-разпространената функция на загубата за задачи за класификация, а също и за езикови модели, които предвиждат следващия токен. Тя наказва особено силно уверените грешни прогнози: приписването на 99% на грешния клас води до много по-висока загуба, отколкото приписването на 60%.
