A visszaterjesztés (backpropagation) a neurális hálózatok tanulásának alapmódszere. Minden előrejelzés után megméri a hibát, és visszafelé terjeszti a hálózat rétegein keresztül, megmutatva, hogy az egyes súlyok mennyiben járultak hozzá. Egy optimalizálási módszer, például a gradiensereszkedés, ezután lépésről lépésre módosítja a súlyokat. Visszaterjesztés nélkül a mai nyelvi és képi modellek tanítása gyakorlatilag lehetetlen volna.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA gradienscsökkenés (gradient descent) az az optimalizálási módszer, amellyel a legtöbb MI-modellt tanítják. Megmérik, mekkora a modell hibája, kiszámítják, milyen irányban kell megváltoztatni a paramétereket a csökkentéséhez, majd kis lépést tesznek ebbe az irányba – újra és újra. Olyan ez, mint egy ködben haladó túrázó, aki folyamatosan lefelé sétál, hogy elérje a völgyet. A lépésköz (tanulási ráta) határozza meg a sebességet és a stabilitást.
A mesterséges neurális hálók (ANN-ek) számítási modellek, amelyek sok összekapcsolt egységből („neuronból”) állnak, rétegekbe rendezve, és súlyozott kapcsolatokon keresztül dolgozzák fel a bemeneteket. A tanítás során a súlyokat lépésről lépésre, példák alapján módosítják, általában visszaterjesztéssel (backpropagation). Az ANN-ek a mélytanulás alapját képezik, és a képfelismerés, a beszédfelismerés és a nagy nyelvi modellek mögött állnak. Biológiai ihletésük ellenére sokkal egyszerűbben működnek, mint az emberi agy.
Az aktivációs függvények határozzák meg, milyen erősen adja tovább jelét egy mesterséges neurális hálózat neuronja. Nemlinearitást visznek a hálózatba – csak így képes az összetett összefüggések, például a nyelv vagy a képek leképezésére. Gyakori példák a ReLU, amely a negatív értékeket nullára állítja, a szigmoid a 0 és 1 közötti valószínűségekhez, valamint a sok transzformermodellben használt GELU. A választás befolyásolja a tanítás sebességét és stabilitását.
A keresztentrópia az információelmélet mérőszáma, amely azt mutatja meg, mennyire tér el egy előre jelzett valószínűség-eloszlás a tényleges eloszlástól. A gépi tanulásban ez a leggyakoribb veszteségfüggvény az osztályozási feladatokhoz, valamint a következő tokent megjósoló nyelvi modellekhez. Különösen erősen bünteti a magabiztos téves előrejelzéseket: ha 99%-ot rendelünk a rossz osztályhoz, az sokkal nagyobb veszteséget ad, mint ha 60%-ot.
