Активационните функции определят колко силно неврон в изкуствена невронна мрежа предава сигнала си. Те въвеждат нелинейност – едва тогава мрежата може да представя сложни зависимости като езика или изображенията. Често срещани примери са ReLU, която нулира отрицателните стойности, сигмоидата за вероятности между 0 и 1 и GELU, използвана в много трансформърни модели. Изборът влияе върху скоростта и стабилността на обучението.
Агенти, потоци и шаблони в едно работно пространство – безплатна 24-часова демонстрация.
Стартирайте демотоИзкуствените невронни мрежи (artificial neural networks, ANN) са изчислителни модели, съставени от много свързани единици („неврони“), разположени на слоеве, които обработват входните данни чрез претеглени връзки. По време на обучението теглата се коригират стъпка по стъпка с помощта на примери, обикновено чрез обратно разпространение на грешката. ANN са основата на дълбокото обучение и задвижват разпознаването на образи, разпознаването на реч и големите езикови модели. Въпреки биологичното вдъхновение те работят много по-просто от човешкия мозък.
Обратното разпространение на грешката (backpropagation) е стандартният метод, по който невронните мрежи се учат. След всяка прогноза грешката се измерва и се разпространява назад през слоевете на мрежата, като показва колко всяко тегло е допринесло за нея. След това метод за оптимизация като градиентното спускане коригира теглата стъпка по стъпка. Без обратното разпространение обучението на днешните езикови модели и модели за изображения би било практически невъзможно.
Дълбокото обучение е дял от машинното обучение, който използва изкуствени невронни мрежи с много слоеве. Такива мрежи се учат от големи количества данни кои характеристики са важни – от ръбове в изображенията до смислови връзки в текстовете. Дълбокото обучение е в основата на съвременните езикови модели, на разпознаването на образи и реч и на машинния превод и обикновено изисква значителна изчислителна мощност и много обучителни данни.
