A gradienscsökkenés (gradient descent) az az optimalizálási módszer, amellyel a legtöbb MI-modellt tanítják. Megmérik, mekkora a modell hibája, kiszámítják, milyen irányban kell megváltoztatni a paramétereket a csökkentéséhez, majd kis lépést tesznek ebbe az irányba – újra és újra. Olyan ez, mint egy ködben haladó túrázó, aki folyamatosan lefelé sétál, hogy elérje a völgyet. A lépésköz (tanulási ráta) határozza meg a sebességet és a stabilitást.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA visszaterjesztés (backpropagation) a neurális hálózatok tanulásának alapmódszere. Minden előrejelzés után megméri a hibát, és visszafelé terjeszti a hálózat rétegein keresztül, megmutatva, hogy az egyes súlyok mennyiben járultak hozzá. Egy optimalizálási módszer, például a gradiensereszkedés, ezután lépésről lépésre módosítja a súlyokat. Visszaterjesztés nélkül a mai nyelvi és képi modellek tanítása gyakorlatilag lehetetlen volna.
A gépi tanulásban a konvergencia azt jelenti, hogy egy tanítási eljárás egy stabil állapothoz közelít: a veszteség alig csökken tovább, és a modell paraméterei csak minimálisan változnak. Az, hogy egy modell konvergál-e, és milyen gyorsan, olyan tényezőktől függ, mint a tanulási ráta, az adatminőség és a modellarchitektúra. Ha a tanulási ráta túl magas, a veszteség ugrál; ha túl alacsony, a tanítás szükségtelenül sokáig tart. A konvergencia nem garantál jó modellt, mert az még mindig túlillesztett lehet.
A keresztentrópia az információelmélet mérőszáma, amely azt mutatja meg, mennyire tér el egy előre jelzett valószínűség-eloszlás a tényleges eloszlástól. A gépi tanulásban ez a leggyakoribb veszteségfüggvény az osztályozási feladatokhoz, valamint a következő tokent megjósoló nyelvi modellekhez. Különösen erősen bünteti a magabiztos téves előrejelzéseket: ha 99%-ot rendelünk a rossz osztályhoz, az sokkal nagyobb veszteséget ad, mint ha 60%-ot.
A hiperparaméterek a modell tanítása előtt rögzített beállítások, például a tanulási ráta, a rétegek száma vagy a regularizáció erőssége. A hiperparaméter-optimalizálás szisztematikusan keresi azt a kombinációt, amely a validációs adatokon a legjobban teljesít, például rácskereséssel, véletlen kereséssel vagy bayesi optimalizálással. A jól megválasztott értékek javítják a pontosságot, és csökkentik a túl- vagy alulillesztést, de a keresés számítási időbe kerül.
