V strojovom učení konvergencia znamená, že sa trénovací postup blíži k stabilnému stavu: strata už takmer neklesá a parametre modelu sa menia len minimálne. Či a ako rýchlo model skonverguje, závisí od faktorov, ako sú rýchlosť učenia, kvalita údajov a architektúra modelu. Ak je rýchlosť učenia príliš vysoká, strata poskakuje; ak je príliš nízka, trénovanie trvá zbytočne dlho. Konvergencia nezaručuje dobrý model, pretože môže byť stále preučený.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoGradientný zostup je optimalizačná metóda, pomocou ktorej sa trénuje väčšina modelov AI. Zmeriate, aká veľká je chyba modelu, vypočítate, akým smerom sa musia parametre zmeniť, aby sa znížila, a urobíte malý krok týmto smerom – znova a znova. Je to ako turista v hmle, ktorý stále kráča z kopca, aby sa dostal do údolia. Veľkosť kroku (rýchlosť učenia) určuje rýchlosť a stabilitu.
V strojovom učení je učebná krivka graf, ktorý ukazuje výkon alebo chybu modelu v závislosti od času trénovania alebo množstva trénovacích údajov, zvyčajne osobitne pre trénovacie a validačné údaje. Jej tvar prezrádza, či je model nedostatočne alebo nadmerne prispôsobený a či viac údajov pravdepodobne pomôže. Ak napríklad validačná chyba zostáva výrazne nad trénovacou chybou, ukazuje to na preučenie. V bežnom jazyku pojem označuje aj to, ako rýchlo si ľudia osvoja novú technológiu.
Trénovacia chyba udáva, o koľko sa predpovede modelu odchyľujú od správnych hodnôt práve na dátach, na ktorých bol trénovaný. Sama o sebe vypovedá málo: dôležité je porovnanie s generalizačnou chybou na nových dátach. Vysoká trénovacia chyba poukazuje na nedoučenie; veľmi nízka trénovacia chyba spojená s vysokou chybou na testovacích dátach zvyčajne signalizuje preučenie.
Hyperparametre sú nastavenia určené pred trénovaním modelu, ako je rýchlosť učenia, počet vrstiev alebo sila regularizácie. Optimalizácia hyperparametrov systematicky hľadá kombináciu, ktorá dosahuje najlepšie výsledky na validačných údajoch, napríklad pomocou mriežkového hľadania, náhodného hľadania alebo bayesovskej optimalizácie. Dobre zvolené hodnoty zlepšujú presnosť a znižujú nadmerné alebo nedostatočné prispôsobenie, no hľadanie stojí výpočtový čas.
