Spätné šírenie chyby (backpropagation) je štandardná metóda, ktorou sa neurónové siete učia. Po každej predpovedi sa zmeria chyba a šíri sa späť cez vrstvy siete, čím sa ukáže, akou mierou k nej prispela každá váha. Optimalizačná metóda, napríklad gradientný zostup, potom váhy postupne upravuje. Bez spätného šírenia chyby by bolo trénovanie dnešných jazykových a obrazových modelov prakticky nemožné.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoGradientný zostup je optimalizačná metóda, pomocou ktorej sa trénuje väčšina modelov AI. Zmeriate, aká veľká je chyba modelu, vypočítate, akým smerom sa musia parametre zmeniť, aby sa znížila, a urobíte malý krok týmto smerom – znova a znova. Je to ako turista v hmle, ktorý stále kráča z kopca, aby sa dostal do údolia. Veľkosť kroku (rýchlosť učenia) určuje rýchlosť a stabilitu.
Umelé neurónové siete (ANN, artificial neural networks) sú výpočtové modely zložené z mnohých prepojených jednotiek („neurónov“) usporiadaných do vrstiev, ktoré spracúvajú vstupy cez vážené spojenia. Počas trénovania sa váhy krok za krokom upravujú pomocou príkladov, zvyčajne spätným šírením chyby (backpropagation). ANN sú základom hlbokého učenia a poháňajú rozpoznávanie obrazu, rozpoznávanie reči a veľké jazykové modely. Napriek biologickej inšpirácii fungujú oveľa jednoduchšie než ľudský mozog.
Aktivačné funkcie určujú, ako silno neurón v umelej neurónovej sieti odovzdá svoj signál ďalej. Vnášajú nelinearitu – až vďaka nej dokáže sieť zachytiť zložité súvislosti, ako je jazyk alebo obraz. Bežnými príkladmi sú ReLU, ktorá záporné hodnoty nastaví na nulu, sigmoida pre pravdepodobnosti medzi 0 a 1 a GELU, používaná v mnohých modeloch typu transformer. Výber ovplyvňuje rýchlosť a stabilitu trénovania.
Krížová entropia je miera z teórie informácie, ktorá udáva, nakoľko sa predpovedané rozdelenie pravdepodobnosti odchyľuje od skutočného. V strojovom učení je to najbežnejšia stratová funkcia pre úlohy klasifikácie a tiež pre jazykové modely, ktoré predpovedajú nasledujúci token. Obzvlášť prísne penalizuje sebavedomé nesprávne predpovede: priradenie 99 % nesprávnej triede vedie k oveľa vyššej strate než priradenie 60 %.
