Navzkrižno preverjanje je metoda za preverjanje, kako dobro model posplošuje na nove, še nevidene podatke. Pri k-kratnem navzkrižnem preverjanju se podatki razdelijo na k delov; model se k-krat nauči na k−1 delih in vsakič preizkusi na preostalem delu, nato se rezultati povprečijo. To pomaga odkriti čezmerno prilagajanje ter pošteno primerjati modele ali nastavitve, zlasti kadar je podatkov malo.
Agenti, poteki dela in predloge v enem delovnem prostoru – brezplačna 24-urna predstavitev.
Začni predstavitevPreveliko prileganje nastane, ko si model zapomni podatke za učenje, vključno z naključnimi posebnostmi in šumom, namesto da bi zajel splošno veljavne vzorce. Na znanih podatkih potem deluje zelo natančno, na novih pa slabo. Tipičen znak je velika razlika med napako pri učenju in napako pri testiranju. Protiukrepi so več ali bolj raznolikih podatkov, preprostejši modeli, regularizacija, izpuščanje (dropout) in navzkrižno preverjanje.
Napaka posploševanja meri, koliko se model UI moti pri novih, še nevidenih podatkih – v nasprotju z napako pri učnih podatkih. Velika vrzel med njima kaže na čezmerno prilagajanje: model si je zapomnil primere, namesto da bi se naučil splošnih vzorcev. Ocenjuje se s podatki, ki so bili izločeni za testiranje, ali z navzkrižnim preverjanjem. To je številka, ki res šteje, ker se model v praksi skoraj vedno sreča z novimi primeri.
Hiperparametri so nastavitve, ki so določene pred učenjem modela, na primer stopnja učenja, število slojev ali moč regularizacije. Optimizacija hiperparametrov sistematično išče kombinacijo, ki je najboljša na validacijskih podatkih, na primer z mrežnim iskanjem, naključnim iskanjem ali Bayesovo optimizacijo. Dobro izbrane vrednosti izboljšajo natančnost in zmanjšajo čezmerno ali premajhno prilagajanje, a iskanje zahteva računski čas.
Podatki za učenje so primeri, iz katerih se model UI uči vzorcev: velike zbirke besedil za jezikovne modele, označene slike za slikovne modele. Njihova kakovost, raznolikost in aktualnost v veliki meri določajo, kako zanesljiv in pošten je model ter kako sodobno je njegovo znanje. Za organizacije je pomembno tudi, ali ponudnik vnesene podatke strank uporablja za nadaljnje učenje.
