Aktivačné funkcie určujú, ako silno neurón v umelej neurónovej sieti odovzdá svoj signál ďalej. Vnášajú nelinearitu – až vďaka nej dokáže sieť zachytiť zložité súvislosti, ako je jazyk alebo obraz. Bežnými príkladmi sú ReLU, ktorá záporné hodnoty nastaví na nulu, sigmoida pre pravdepodobnosti medzi 0 a 1 a GELU, používaná v mnohých modeloch typu transformer. Výber ovplyvňuje rýchlosť a stabilitu trénovania.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoUmelé neurónové siete (ANN, artificial neural networks) sú výpočtové modely zložené z mnohých prepojených jednotiek („neurónov“) usporiadaných do vrstiev, ktoré spracúvajú vstupy cez vážené spojenia. Počas trénovania sa váhy krok za krokom upravujú pomocou príkladov, zvyčajne spätným šírením chyby (backpropagation). ANN sú základom hlbokého učenia a poháňajú rozpoznávanie obrazu, rozpoznávanie reči a veľké jazykové modely. Napriek biologickej inšpirácii fungujú oveľa jednoduchšie než ľudský mozog.
Spätné šírenie chyby (backpropagation) je štandardná metóda, ktorou sa neurónové siete učia. Po každej predpovedi sa zmeria chyba a šíri sa späť cez vrstvy siete, čím sa ukáže, akou mierou k nej prispela každá váha. Optimalizačná metóda, napríklad gradientný zostup, potom váhy postupne upravuje. Bez spätného šírenia chyby by bolo trénovanie dnešných jazykových a obrazových modelov prakticky nemožné.
Hlboké učenie je odvetvie strojového učenia, ktoré využíva umelé neurónové siete s mnohými vrstvami. Takéto siete sa z veľkého množstva údajov učia, na ktorých znakoch záleží – od hrán v obrázkoch až po významové súvislosti v textoch. Hlboké učenie je základom dnešných jazykových modelov, rozpoznávania obrazu a reči a strojového prekladu a zvyčajne si vyžaduje značný výpočtový výkon a veľa trénovacích údajov.
