Preučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoNedoučenie (underfitting) nastáva, keď je model príliš jednoduchý na to, aby zachytil vzťahy v dátach. Robí potom veľa chýb na trénovacích dátach aj na nových dátach, napríklad keď sa na zobrazenie jasne zakriveného vzoru použije priamka. Nápravou je výkonnejší model, informatívnejšie príznaky, dlhšie trénovanie alebo slabšia regularizácia; opačným problémom je preučenie.
Regularizácia zahŕňa techniky, ktoré bránia tomu, aby sa model počas trénovania príliš tesne prispôsobil trénovacím dátam (preučenie). Patrí sem penalizácia veľkých váh (regularizácia L1 alebo L2), náhodné vypínanie neurónov (dropout) alebo zastavenie trénovania v správnom okamihu (early stopping). Cieľom je jednoduchší model, ktorý na nových, nevidených dátach funguje spoľahlivejšie, aj keď na trénovacích dátach dosahuje o niečo nižšie skóre.
Krížová validácia je metóda na kontrolu, nakoľko dobre model zovšeobecňuje na nové, nevidené údaje. Pri k-násobnej krížovej validácii sa údaje rozdelia na k častí; model sa k-krát trénuje na k−1 častiach a vždy sa testuje na zvyšnej časti, potom sa výsledky spriemerujú. Pomáha to odhaliť preučenie a spravodlivo porovnať modely alebo nastavenia, najmä keď je k dispozícii málo údajov.
Generalizačná chyba meria, nakoľko sa model AI mýli na nových, predtým nevidených údajoch – na rozdiel od jeho chyby na trénovacích údajoch. Veľký rozdiel medzi nimi poukazuje na preučenie: model si zapamätal príklady namiesto toho, aby sa naučil všeobecné vzorce. Odhaduje sa pomocou odložených testovacích údajov alebo krížovej validácie. Je to číslo, na ktorom skutočne záleží, pretože v praxi sa model stretáva takmer len s novými prípadmi.
