Křížová entropie je míra z teorie informace, která udává, jak moc se predikované rozdělení pravděpodobnosti odchyluje od skutečného. Ve strojovém učení je to nejběžnější ztrátová funkce pro klasifikační úlohy i pro jazykové modely, které předpovídají další token. Obzvlášť silně penalizuje sebejisté chybné predikce: přiřadit 99 % špatné třídě znamená mnohem vyšší ztrátu než přiřadit 60 %.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoLog loss (logaritmická ztráta) měří, jak dobře predikované pravděpodobnosti klasifikačního modelu odpovídají skutečným výsledkům. Sebejisté, ale chybné predikce se penalizují obzvlášť silně; hodnota blízká nule značí dobře kalibrované předpovědi. Příklad: pokud model přiřadí 95% pravděpodobnost odchodu zákazníkovi, který zůstane, log loss prudce vzroste. Matematicky jde o totéž co binární křížová entropie.
Gradientní sestup je optimalizační metoda, kterou se trénuje většina modelů AI. Změří se, jak velká je chyba modelu, vypočítá se, kterým směrem se musí změnit parametry, aby se snížila, a pak se tímto směrem udělá malý krok – znovu a znovu. Je to jako turista v mlze, který stále jde z kopce, aby došel do údolí. Velikost kroku (learning rate) určuje rychlost a stabilitu.
Klasifikátor je model nebo metoda, která přiřazuje vstupy do jedné z několika předem definovaných kategorií. Klasické varianty, například rozhodovací stromy nebo naivní Bayes, se trénují na označených příkladech; jazykové modely mohou texty třídit také na základě popisu kategorií. Typickým využitím je rozpoznávání spamu, třídění zákaznických dotazů podle témat a kategorizace účtenek. Kvalita se měří metrikami, jako jsou správnost, přesnost a úplnost.
Ve strojovém učení konvergence znamená, že se trénovací postup blíží ke stabilnímu stavu: ztráta (loss) už téměř neklesá a parametry modelu se mění jen minimálně. To, zda a jak rychle model konverguje, závisí na faktorech, jako jsou míra učení, kvalita dat a architektura modelu. Je-li míra učení příliš vysoká, ztráta poskakuje; je-li příliš nízká, trénování trvá zbytečně dlouho. Konvergence nezaručuje dobrý model, protože může být stále přeučený.
