Regularizacija zajema tehnike, ki med učenjem preprečujejo, da bi se model preveč tesno prilegel podatkom za učenje (preveliko prileganje). Primeri so kaznovanje velikih uteži (regularizacija L1 ali L2), naključno izklapljanje nevronov (dropout) ali ustavitev učenja ob pravem času (zgodnja ustavitev). Cilj je preprostejši model, ki zanesljiveje deluje na novih, še nevidenih podatkih, tudi če na podatkih za učenje doseže nekoliko slabši rezultat.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevPreveliko prileganje nastane, ko si model zapomni podatke za učenje, vključno z naključnimi posebnostmi in šumom, namesto da bi zajel splošno veljavne vzorce. Na znanih podatkih potem deluje zelo natančno, na novih pa slabo. Tipičen znak je velika razlika med napako pri učenju in napako pri testiranju. Protiukrepi so več ali bolj raznolikih podatkov, preprostejši modeli, regularizacija, izpuščanje (dropout) in navzkrižno preverjanje.
Dropout je tehnika regularizacije pri učenju nevronskih mrež: pri vsakem učnem koraku se naključni del nevronov začasno izklopi. Tako se mreža ne more zanašati na posamezne povezave in se nauči robustnejših vzorcev. Zmanjšuje čezmerno prilagajanje, tj. golo zapomnitev učnih podatkov. Ko se dokončani model pozneje uporablja, so vsi nevroni spet aktivni.
Napaka posploševanja meri, koliko se model UI moti pri novih, še nevidenih podatkih – v nasprotju z napako pri učnih podatkih. Velika vrzel med njima kaže na čezmerno prilagajanje: model si je zapomnil primere, namesto da bi se naučil splošnih vzorcev. Ocenjuje se s podatki, ki so bili izločeni za testiranje, ali z navzkrižnim preverjanjem. To je številka, ki res šteje, ker se model v praksi skoraj vedno sreča z novimi primeri.
Premajhno prileganje nastane, ko je model preveč preprost, da bi zajel povezave v podatkih. Potem dela veliko napak tako na podatkih za učenje kot na novih podatkih, na primer kadar z ravno črto predstavimo izrazito ukrivljen vzorec. Rešitve so zmogljivejši model, bolj informativne značilnice, daljše učenje ali manj regularizacije; nasprotna težava je preveliko prileganje.
