Krížová entropia je miera z teórie informácie, ktorá udáva, nakoľko sa predpovedané rozdelenie pravdepodobnosti odchyľuje od skutočného. V strojovom učení je to najbežnejšia stratová funkcia pre úlohy klasifikácie a tiež pre jazykové modely, ktoré predpovedajú nasledujúci token. Obzvlášť prísne penalizuje sebavedomé nesprávne predpovede: priradenie 99 % nesprávnej triede vedie k oveľa vyššej strate než priradenie 60 %.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoLog loss (logaritmická strata) meria, nakoľko dobre predpovedané pravdepodobnosti klasifikačného modelu zodpovedajú skutočným výsledkom. Sebavedomé, ale nesprávne predpovede sa penalizujú obzvlášť prísne; hodnota blízka nule ukazuje dobre kalibrované predpovede. Príklad: ak model dá zákazníkovi, ktorý zostane, 95 % pravdepodobnosť odchodu, log loss prudko vzrastie. Matematicky je to to isté ako binárna krížová entropia.
Gradientný zostup je optimalizačná metóda, pomocou ktorej sa trénuje väčšina modelov AI. Zmeriate, aká veľká je chyba modelu, vypočítate, akým smerom sa musia parametre zmeniť, aby sa znížila, a urobíte malý krok týmto smerom – znova a znova. Je to ako turista v hmle, ktorý stále kráča z kopca, aby sa dostal do údolia. Veľkosť kroku (rýchlosť učenia) určuje rýchlosť a stabilitu.
Klasifikátor je model alebo metóda, ktorá priraďuje vstupy do jednej z viacerých vopred určených kategórií. Klasické varianty, ako sú rozhodovacie stromy alebo naivný Bayes, sa trénujú na označených príkladoch; jazykové modely dokážu texty triediť aj na základe opisu kategórií. Typické použitie zahŕňa detekciu spamu, triedenie dopytov zákazníkov podľa tém a kategorizáciu dokladov. Kvalita sa meria metrikami, ako sú správnosť, presnosť a úplnosť.
V strojovom učení konvergencia znamená, že sa trénovací postup blíži k stabilnému stavu: strata už takmer neklesá a parametre modelu sa menia len minimálne. Či a ako rýchlo model skonverguje, závisí od faktorov, ako sú rýchlosť učenia, kvalita údajov a architektúra modelu. Ak je rýchlosť učenia príliš vysoká, strata poskakuje; ak je príliš nízka, trénovanie trvá zbytočne dlho. Konvergencia nezaručuje dobrý model, pretože môže byť stále preučený.
