A keresztentrópia az információelmélet mérőszáma, amely azt mutatja meg, mennyire tér el egy előre jelzett valószínűség-eloszlás a tényleges eloszlástól. A gépi tanulásban ez a leggyakoribb veszteségfüggvény az osztályozási feladatokhoz, valamint a következő tokent megjósoló nyelvi modellekhez. Különösen erősen bünteti a magabiztos téves előrejelzéseket: ha 99%-ot rendelünk a rossz osztályhoz, az sokkal nagyobb veszteséget ad, mint ha 60%-ot.
Ügynökök, munkafolyamatok és sablonok egyetlen munkaterületen – ingyenes, 24 órás demó.
Demó indításaA log loss (logaritmikus veszteség) azt méri, mennyire egyeznek egy osztályozási modell előrejelzett valószínűségei a tényleges kimenetelekkel. A magabiztos, de téves előrejelzéseket különösen erősen bünteti; a nullához közeli érték jól kalibrált előrejelzéseket jelez. Példa: ha egy modell 95%-os elvándorlási valószínűséget ad egy olyan ügyfélre, aki marad, a log loss meredeken nő. Matematikailag megegyezik a bináris keresztentrópiával.
A gradienscsökkenés (gradient descent) az az optimalizálási módszer, amellyel a legtöbb MI-modellt tanítják. Megmérik, mekkora a modell hibája, kiszámítják, milyen irányban kell megváltoztatni a paramétereket a csökkentéséhez, majd kis lépést tesznek ebbe az irányba – újra és újra. Olyan ez, mint egy ködben haladó túrázó, aki folyamatosan lefelé sétál, hogy elérje a völgyet. A lépésköz (tanulási ráta) határozza meg a sebességet és a stabilitást.
Az osztályozó olyan modell vagy módszer, amely a bemeneteket több előre meghatározott kategória egyikébe sorolja. A klasszikus változatokat, például a döntési fákat vagy a naiv Bayes-t címkézett példákon tanítják; a nyelvi modellek a kategóriák leírása alapján is képesek szövegeket rendezni. Tipikus felhasználás a spamfelismerés, az ügyfélmegkeresések téma szerinti rendezése és a bizonylatok kategorizálása. A minőséget olyan mérőszámokkal mérik, mint a helyesség, a pontosság és a fedés.
A gépi tanulásban a konvergencia azt jelenti, hogy egy tanítási eljárás egy stabil állapothoz közelít: a veszteség alig csökken tovább, és a modell paraméterei csak minimálisan változnak. Az, hogy egy modell konvergál-e, és milyen gyorsan, olyan tényezőktől függ, mint a tanulási ráta, az adatminőség és a modellarchitektúra. Ha a tanulási ráta túl magas, a veszteség ugrál; ha túl alacsony, a tanítás szükségtelenül sokáig tart. A konvergencia nem garantál jó modellt, mert az még mindig túlillesztett lehet.
