Ve strojovém učení konvergence znamená, že se trénovací postup blíží ke stabilnímu stavu: ztráta (loss) už téměř neklesá a parametry modelu se mění jen minimálně. To, zda a jak rychle model konverguje, závisí na faktorech, jako jsou míra učení, kvalita dat a architektura modelu. Je-li míra učení příliš vysoká, ztráta poskakuje; je-li příliš nízká, trénování trvá zbytečně dlouho. Konvergence nezaručuje dobrý model, protože může být stále přeučený.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoGradientní sestup je optimalizační metoda, kterou se trénuje většina modelů AI. Změří se, jak velká je chyba modelu, vypočítá se, kterým směrem se musí změnit parametry, aby se snížila, a pak se tímto směrem udělá malý krok – znovu a znovu. Je to jako turista v mlze, který stále jde z kopce, aby došel do údolí. Velikost kroku (learning rate) určuje rychlost a stabilitu.
Ve strojovém učení je učební křivka graf, který ukazuje výkon nebo chybu modelu v průběhu trénování nebo podle množství trénovacích dat, obvykle zvlášť pro trénovací a validační data. Její tvar prozrazuje, zda je model podučený, nebo přeučený a zda pravděpodobně pomůže více dat. Pokud například validační chyba zůstává výrazně nad trénovací chybou, ukazuje to na přeučení. V běžné řeči pojem označuje také to, jak rychle lidé zvládnou novou technologii.
Chyba na trénovacích datech udává, o kolik se předpovědi modelu odchylují od správných hodnot přesně u dat, na nichž byl trénován. Sama o sobě říká málo: důležité je porovnání s generalizační chybou na nových datech. Vysoká chyba na trénovacích datech ukazuje na nedostatečné přizpůsobení (underfitting); velmi nízká chyba na trénovacích datech spojená s vysokou chybou na testovacích datech obvykle signalizuje přeučení.
Hyperparametry jsou nastavení určená před trénováním modelu, například míra učení (learning rate), počet vrstev nebo síla regularizace. Optimalizace hyperparametrů systematicky hledá kombinaci, která dosahuje nejlepších výsledků na validačních datech, například pomocí mřížkového prohledávání, náhodného prohledávání nebo bayesovské optimalizace. Dobře zvolené hodnoty zvyšují přesnost a snižují přeučení či podučení, ale hledání stojí výpočetní čas.
