Generalizačná chyba meria, nakoľko sa model AI mýli na nových, predtým nevidených údajoch – na rozdiel od jeho chyby na trénovacích údajoch. Veľký rozdiel medzi nimi poukazuje na preučenie: model si zapamätal príklady namiesto toho, aby sa naučil všeobecné vzorce. Odhaduje sa pomocou odložených testovacích údajov alebo krížovej validácie. Je to číslo, na ktorom skutočne záleží, pretože v praxi sa model stretáva takmer len s novými prípadmi.
Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.
Spustiť demoPreučenie (overfitting) nastáva, keď si model zapamätá trénovacie dáta vrátane náhodných zvláštností a šumu, namiesto toho, aby zachytil všeobecne platné vzory. Na známych dátach potom pôsobí veľmi presne, no na nových dátach podáva slabý výkon. Typickým znakom je veľký rozdiel medzi chybou na trénovacích a testovacích dátach. Protiopatrenia zahŕňajú viac či rozmanitejšie dát, jednoduchšie modely, regularizáciu, dropout a krížovú validáciu.
Nedoučenie (underfitting) nastáva, keď je model príliš jednoduchý na to, aby zachytil vzťahy v dátach. Robí potom veľa chýb na trénovacích dátach aj na nových dátach, napríklad keď sa na zobrazenie jasne zakriveného vzoru použije priamka. Nápravou je výkonnejší model, informatívnejšie príznaky, dlhšie trénovanie alebo slabšia regularizácia; opačným problémom je preučenie.
Trénovacia chyba udáva, o koľko sa predpovede modelu odchyľujú od správnych hodnôt práve na dátach, na ktorých bol trénovaný. Sama o sebe vypovedá málo: dôležité je porovnanie s generalizačnou chybou na nových dátach. Vysoká trénovacia chyba poukazuje na nedoučenie; veľmi nízka trénovacia chyba spojená s vysokou chybou na testovacích dátach zvyčajne signalizuje preučenie.
Krížová validácia je metóda na kontrolu, nakoľko dobre model zovšeobecňuje na nové, nevidené údaje. Pri k-násobnej krížovej validácii sa údaje rozdelia na k častí; model sa k-krát trénuje na k−1 častiach a vždy sa testuje na zvyšnej časti, potom sa výsledky spriemerujú. Pomáha to odhaliť preučenie a spravodlivo porovnať modely alebo nastavenia, najmä keď je k dispozícii málo údajov.
