Nedoučenie (underfitting) nastáva, keď je model príliš jednoduchý na to, aby zachytil vzťahy v dátach. Robí potom veľa chýb na trénovacích dátach aj na nových dátach, napríklad keď sa na zobrazenie jasne zakriveného vzoru použije priamka. Nápravou je výkonnejší model, informatívnejšie príznaky, dlhšie trénovanie alebo slabšia regularizácia; opačným problémom je preučenie.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoPreučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
Generalizačná chyba meria, nakoľko sa model AI mýli na nových, predtým nevidených údajoch – na rozdiel od jeho chyby na trénovacích údajoch. Veľký rozdiel medzi nimi poukazuje na preučenie: model si zapamätal príklady namiesto toho, aby sa naučil všeobecné vzorce. Odhaduje sa pomocou odložených testovacích údajov alebo krížovej validácie. Je to číslo, na ktorom skutočne záleží, pretože v praxi sa model stretáva takmer len s novými prípadmi.
Trénovacia chyba udáva, o koľko sa predpovede modelu odchyľujú od správnych hodnôt práve na dátach, na ktorých bol trénovaný. Sama o sebe vypovedá málo: dôležité je porovnanie s generalizačnou chybou na nových dátach. Vysoká trénovacia chyba poukazuje na nedoučenie; veľmi nízka trénovacia chyba spojená s vysokou chybou na testovacích dátach zvyčajne signalizuje preučenie.
Regularizácia zahŕňa techniky, ktoré bránia tomu, aby sa model počas trénovania príliš tesne prispôsobil trénovacím dátam (preučenie). Patrí sem penalizácia veľkých váh (regularizácia L1 alebo L2), náhodné vypínanie neurónov (dropout) alebo zastavenie trénovania v správnom okamihu (early stopping). Cieľom je jednoduchší model, ktorý na nových, nevidených dátach funguje spoľahlivejšie, aj keď na trénovacích dátach dosahuje o niečo nižšie skóre.
