Gradientný zostup je optimalizačná metóda, pomocou ktorej sa trénuje väčšina modelov AI. Zmeriate, aká veľká je chyba modelu, vypočítate, akým smerom sa musia parametre zmeniť, aby sa znížila, a urobíte malý krok týmto smerom – znova a znova. Je to ako turista v hmle, ktorý stále kráča z kopca, aby sa dostal do údolia. Veľkosť kroku (rýchlosť učenia) určuje rýchlosť a stabilitu.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoSpätné šírenie chyby (backpropagation) je štandardná metóda, ktorou sa neurónové siete učia. Po každej predpovedi sa zmeria chyba a šíri sa späť cez vrstvy siete, čím sa ukáže, akou mierou k nej prispela každá váha. Optimalizačná metóda, napríklad gradientný zostup, potom váhy postupne upravuje. Bez spätného šírenia chyby by bolo trénovanie dnešných jazykových a obrazových modelov prakticky nemožné.
V strojovom učení konvergencia znamená, že sa trénovací postup blíži k stabilnému stavu: strata už takmer neklesá a parametre modelu sa menia len minimálne. Či a ako rýchlo model skonverguje, závisí od faktorov, ako sú rýchlosť učenia, kvalita údajov a architektúra modelu. Ak je rýchlosť učenia príliš vysoká, strata poskakuje; ak je príliš nízka, trénovanie trvá zbytočne dlho. Konvergencia nezaručuje dobrý model, pretože môže byť stále preučený.
Krížová entropia je miera z teórie informácie, ktorá udáva, nakoľko sa predpovedané rozdelenie pravdepodobnosti odchyľuje od skutočného. V strojovom učení je to najbežnejšia stratová funkcia pre úlohy klasifikácie a tiež pre jazykové modely, ktoré predpovedajú nasledujúci token. Obzvlášť prísne penalizuje sebavedomé nesprávne predpovede: priradenie 99 % nesprávnej triede vedie k oveľa vyššej strate než priradenie 60 %.
Hyperparametre sú nastavenia určené pred trénovaním modelu, ako je rýchlosť učenia, počet vrstiev alebo sila regularizácie. Optimalizácia hyperparametrov systematicky hľadá kombináciu, ktorá dosahuje najlepšie výsledky na validačných údajoch, napríklad pomocou mriežkového hľadania, náhodného hľadania alebo bayesovskej optimalizácie. Dobre zvolené hodnoty zlepšujú presnosť a znižujú nadmerné alebo nedostatočné prispôsobenie, no hľadanie stojí výpočtový čas.
