X'inhu Funzjonijiet ta' attivazzjoni?
Il-funzjonijiet ta' attivazzjoni jiddeterminaw kemm b'saħħtu newron f'netwerk newrali artifiċjali jgħaddi s-sinjal tiegħu. Jintroduċu n-nonlinearità – huwa biss hekk li n-netwerk jista' jirrappreżenta relazzjonijiet kumplessi bħal-lingwa jew l-immaġini. Eżempji komuni huma ReLU, li jissettja l-valuri negattivi għal żero, sigmoid għall-probabbiltajiet bejn 0 u 1, u GELU, użat f'ħafna mudelli transformer. L-għażla taffettwa l-veloċità u l-istabbiltà tat-taħriġ.