Kryžminė entropija – tai informacijos teorijos matas, rodantis, kiek prognozuojamas tikimybių skirstinys nukrypsta nuo tikrojo. Mašininiame mokymesi tai dažniausia nuostolio funkcija klasifikavimo užduotims ir kalbos modeliams, nuspėjantiems kitą tokeną. Ji ypač stipriai baudžia už užtikrintas klaidingas prognozes: 99 % priskyrimas netinkamai klasei duoda daug didesnį nuostolį nei 60 % priskyrimas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąLogaritminis nuostolis (angl. log loss, logarithmic loss) matuoja, kaip gerai klasifikavimo modelio prognozuotos tikimybės atitinka tikrus rezultatus. Užtikrintos, bet klaidingos prognozės baudžiamos ypač stipriai; artima nuliui reikšmė rodo gerai sukalibruotas prognozes. Pavyzdys: jei modelis klientui, kuris pasilieka, priskiria 95 % nutekėjimo tikimybę, logaritminis nuostolis smarkiai išauga. Matematiškai tai tas pats, kas dvejetainė kryžminė entropija.
Gradientinis nusileidimas yra optimizavimo metodas, naudojamas daugumai DI modelių apmokyti. Išmatuojate modelio klaidos dydį, apskaičiuojate, kuria kryptimi reikia keisti parametrus, kad ji sumažėtų, ir žengiate mažą žingsnį ta kryptimi – vėl ir vėl. Tai kaip rūke einantis keliautojas, kuris vis eina žemyn, kad pasiektų slėnį. Žingsnio dydis (mokymosi sparta) lemia greitį ir stabilumą.
Klasifikatorius – tai modelis ar metodas, priskiriantis įvestį vienai iš kelių iš anksto apibrėžtų kategorijų. Klasikiniai variantai, tokie kaip sprendimų medžiai ar naivusis Bajeso klasifikatorius, mokomi su pažymėtais pavyzdžiais; kalbos modeliai taip pat gali rūšiuoti tekstus pagal kategorijų aprašymą. Tipiniai taikymai: šlamšto aptikimas, klientų užklausų rūšiavimas pagal temą ir kvitų kategorizavimas. Kokybė matuojama rodikliais, tokiais kaip tikslumas (accuracy), tikslumas (precision) ir pilnumas (recall).
Mašininiame mokymesi konvergencija reiškia, kad mokymo procedūra artėja prie stabilios būsenos: nuostolis beveik nebemažėja, o modelio parametrai keičiasi tik minimaliai. Ar ir kaip greitai modelis konverguoja, priklauso nuo tokių veiksnių kaip mokymosi sparta, duomenų kokybė ir modelio architektūra. Jei mokymosi sparta per didelė, nuostolis šokinėja; jei per maža, mokymas trunka be reikalo ilgai. Konvergencija negarantuoja gero modelio, nes jis vis tiek gali būti persimokęs.
