Aktivační funkce určují, jak silně neuron v umělé neuronové síti předá svůj signál dál. Vnášejí do sítě nelinearitu – teprve díky ní dokáže síť zachytit složité vztahy, jako je jazyk nebo obraz. Běžnými příklady jsou ReLU, která záporné hodnoty nastaví na nulu, sigmoida pro pravděpodobnosti mezi 0 a 1 a GELU, používaná v mnoha modelech typu transformer. Volba funkce ovlivňuje rychlost a stabilitu trénování.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoUmělé neuronové sítě (ANN) jsou výpočetní modely složené z mnoha propojených jednotek („neuronů“) uspořádaných do vrstev, které zpracovávají vstupy prostřednictvím vážených spojení. Při trénování se váhy krok za krokem upravují na příkladech, obvykle zpětným šířením chyby (backpropagation). ANN jsou základem hlubokého učení a pohánějí rozpoznávání obrazu, rozpoznávání řeči a velké jazykové modely. Navzdory biologické inspiraci fungují mnohem jednodušeji než lidský mozek.
Backpropagation (zpětné šíření chyby) je standardní metoda, kterou se učí neuronové sítě. Po každé predikci se změří chyba a šíří se zpět vrstvami sítě, čímž se ukáže, jak velkou měrou k ní přispěla jednotlivá váha. Optimalizační metoda, například gradientní sestup, pak váhy krok za krokem upravuje. Bez zpětného šíření chyby by trénování dnešních jazykových a obrazových modelů bylo prakticky nemožné.
Hluboké učení (deep learning) je odvětví strojového učení, které používá umělé neuronové sítě s mnoha vrstvami. Takové sítě se z velkého množství dat samy učí, na kterých rysech záleží – od hran v obrazech po významové vztahy v textech. Hluboké učení stojí za dnešními jazykovými modely, rozpoznáváním obrazu a řeči i strojovým překladem a obvykle vyžaduje značný výpočetní výkon a množství trénovacích dat.
