Backpropagation (zpětné šíření chyby) je standardní metoda, kterou se učí neuronové sítě. Po každé predikci se změří chyba a šíří se zpět vrstvami sítě, čímž se ukáže, jak velkou měrou k ní přispěla jednotlivá váha. Optimalizační metoda, například gradientní sestup, pak váhy krok za krokem upravuje. Bez zpětného šíření chyby by trénování dnešních jazykových a obrazových modelů bylo prakticky nemožné.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoGradientní sestup je optimalizační metoda, kterou se trénuje většina modelů AI. Změří se, jak velká je chyba modelu, vypočítá se, kterým směrem se musí změnit parametry, aby se snížila, a pak se tímto směrem udělá malý krok – znovu a znovu. Je to jako turista v mlze, který stále jde z kopce, aby došel do údolí. Velikost kroku (learning rate) určuje rychlost a stabilitu.
Umělé neuronové sítě (ANN) jsou výpočetní modely složené z mnoha propojených jednotek („neuronů“) uspořádaných do vrstev, které zpracovávají vstupy prostřednictvím vážených spojení. Při trénování se váhy krok za krokem upravují na příkladech, obvykle zpětným šířením chyby (backpropagation). ANN jsou základem hlubokého učení a pohánějí rozpoznávání obrazu, rozpoznávání řeči a velké jazykové modely. Navzdory biologické inspiraci fungují mnohem jednodušeji než lidský mozek.
Aktivační funkce určují, jak silně neuron v umělé neuronové síti předá svůj signál dál. Vnášejí do sítě nelinearitu – teprve díky ní dokáže síť zachytit složité vztahy, jako je jazyk nebo obraz. Běžnými příklady jsou ReLU, která záporné hodnoty nastaví na nulu, sigmoida pro pravděpodobnosti mezi 0 a 1 a GELU, používaná v mnoha modelech typu transformer. Volba funkce ovlivňuje rychlost a stabilitu trénování.
Křížová entropie je míra z teorie informace, která udává, jak moc se predikované rozdělení pravděpodobnosti odchyluje od skutečného. Ve strojovém učení je to nejběžnější ztrátová funkce pro klasifikační úlohy i pro jazykové modely, které předpovídají další token. Obzvlášť silně penalizuje sebejisté chybné predikce: přiřadit 99 % špatné třídě znamená mnohem vyšší ztrátu než přiřadit 60 %.
