Az aktivációs függvények határozzák meg, milyen erősen adja tovább jelét egy mesterséges neurális hálózat neuronja. Nemlinearitást visznek a hálózatba – csak így képes az összetett összefüggések, például a nyelv vagy a képek leképezésére. Gyakori példák a ReLU, amely a negatív értékeket nullára állítja, a szigmoid a 0 és 1 közötti valószínűségekhez, valamint a sok transzformermodellben használt GELU. A választás befolyásolja a tanítás sebességét és stabilitását.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA mesterséges neurális hálók (ANN-ek) számítási modellek, amelyek sok összekapcsolt egységből („neuronból”) állnak, rétegekbe rendezve, és súlyozott kapcsolatokon keresztül dolgozzák fel a bemeneteket. A tanítás során a súlyokat lépésről lépésre, példák alapján módosítják, általában visszaterjesztéssel (backpropagation). Az ANN-ek a mélytanulás alapját képezik, és a képfelismerés, a beszédfelismerés és a nagy nyelvi modellek mögött állnak. Biológiai ihletésük ellenére sokkal egyszerűbben működnek, mint az emberi agy.
A visszaterjesztés (backpropagation) a neurális hálózatok tanulásának alapmódszere. Minden előrejelzés után megméri a hibát, és visszafelé terjeszti a hálózat rétegein keresztül, megmutatva, hogy az egyes súlyok mennyiben járultak hozzá. Egy optimalizálási módszer, például a gradiensereszkedés, ezután lépésről lépésre módosítja a súlyokat. Visszaterjesztés nélkül a mai nyelvi és képi modellek tanítása gyakorlatilag lehetetlen volna.
A mélytanulás a gépi tanulás egyik ága, amely sok rétegű mesterséges neurális hálókat használ. Az ilyen hálók nagy adatmennyiségből tanulják meg, mely jellemzők számítanak – a képek éleitől a szövegek jelentésbeli összefüggéseiig. A mélytanulás áll a mai nyelvi modellek, a kép- és beszédfelismerés, valamint a gépi fordítás mögött, és általában jelentős számítási teljesítményt és tanítóadatot igényel.
