Regularizácia zahŕňa techniky, ktoré bránia tomu, aby sa model počas trénovania príliš tesne prispôsobil trénovacím dátam (preučenie). Patrí sem penalizácia veľkých váh (regularizácia L1 alebo L2), náhodné vypínanie neurónov (dropout) alebo zastavenie trénovania v správnom okamihu (early stopping). Cieľom je jednoduchší model, ktorý na nových, nevidených dátach funguje spoľahlivejšie, aj keď na trénovacích dátach dosahuje o niečo nižšie skóre.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoPreučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
Dropout je regularizačná technika používaná pri trénovaní neurónových sietí: v každom tréningovom kroku sa náhodný podiel neurónov dočasne vypne. Tým sa sieť nemôže spoliehať na jednotlivé spojenia, a učí sa preto odolnejšie vzorce. Znižuje preučenie, teda len zapamätanie trénovacích údajov. Keď sa hotový model neskôr používa, všetky neuróny sú opäť aktívne.
Generalizačná chyba meria, nakoľko sa model AI mýli na nových, predtým nevidených údajoch – na rozdiel od jeho chyby na trénovacích údajoch. Veľký rozdiel medzi nimi poukazuje na preučenie: model si zapamätal príklady namiesto toho, aby sa naučil všeobecné vzorce. Odhaduje sa pomocou odložených testovacích údajov alebo krížovej validácie. Je to číslo, na ktorom skutočne záleží, pretože v praxi sa model stretáva takmer len s novými prípadmi.
Nedoučenie (underfitting) nastáva, keď je model príliš jednoduchý na to, aby zachytil vzťahy v dátach. Robí potom veľa chýb na trénovacích dátach aj na nových dátach, napríklad keď sa na zobrazenie jasne zakriveného vzoru použije priamka. Nápravou je výkonnejší model, informatívnejšie príznaky, dlhšie trénovanie alebo slabšia regularizácia; opačným problémom je preučenie.
