Gradientni spust je optimizacijska metoda, s katero se uči večina modelov UI. Izmerite, kako velika je napaka modela, izračunate, v katero smer je treba spremeniti parametre, da jo zmanjšate, nato pa naredite majhen korak v tej smeri – znova in znova. To je kot pohodnik v megli, ki hodi vedno navzdol, da pride v dolino. Velikost koraka (stopnja učenja) določa hitrost in stabilnost.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevVzvratno razširjanje napake (backpropagation) je standardna metoda, s katero se nevronske mreže učijo. Po vsaki napovedi se izmeri napaka in se razširi nazaj skozi plasti mreže, kar pokaže, koliko je k njej prispevala posamezna utež. Optimizacijska metoda, kot je gradientni spust, nato uteži postopoma prilagodi. Brez vzvratnega razširjanja bi bilo učenje današnjih jezikovnih in slikovnih modelov praktično nemogoče.
Pri strojnem učenju konvergenca pomeni, da se postopek učenja približuje stabilnemu stanju: izguba se skoraj ne zmanjšuje več, parametri modela pa se spreminjajo le minimalno. Ali in kako hitro model konvergira, je odvisno od dejavnikov, kot so stopnja učenja, kakovost podatkov in arhitektura modela. Če je stopnja učenja previsoka, izguba skače; če je prenizka, učenje traja po nepotrebnem dolgo. Konvergenca ne zagotavlja dobrega modela, saj je ta lahko še vedno čezmerno prilagojen.
Navzkrižna entropija je merilo iz teorije informacij, ki pove, kako zelo se napovedana porazdelitev verjetnosti razlikuje od dejanske. Pri strojnem učenju je najpogostejša funkcija izgube za naloge klasifikacije, pa tudi za jezikovne modele, ki napovedujejo naslednji token. Še posebej močno kaznuje samozavestne napačne napovedi: če napačnemu razredu dodelimo 99 %, je izguba veliko višja kot pri 60 %.
Hiperparametri so nastavitve, ki so določene pred učenjem modela, na primer stopnja učenja, število slojev ali moč regularizacije. Optimizacija hiperparametrov sistematično išče kombinacijo, ki je najboljša na validacijskih podatkih, na primer z mrežnim iskanjem, naključnim iskanjem ali Bayesovo optimizacijo. Dobro izbrane vrednosti izboljšajo natančnost in zmanjšajo čezmerno ali premajhno prilagajanje, a iskanje zahteva računski čas.
