Apibendrinimo paklaida parodo, kiek DI modelis klysta su naujais, anksčiau nematytais duomenimis – priešingai nei jo paklaida mokymo duomenims. Didelis skirtumas tarp jų rodo persimokymą: modelis įsiminė pavyzdžius, užuot išmokęs bendrus dėsningumus. Ji vertinama naudojant atskirtus testinius duomenis arba kryžminį patvirtinimą. Tai tikrai svarbus rodiklis, nes praktikoje modelis beveik visada susiduria su naujais atvejais.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąPersimokymas atsiranda, kai modelis įsimena mokymo duomenis, įskaitant atsitiktinius ypatumus ir triukšmą, užuot išmokęs visuotinai galiojančių dėsningumų. Tada jis atrodo labai tikslus su pažįstamais duomenimis, bet prastai veikia su naujais. Tipiškas požymis – didelis atotrūkis tarp mokymo ir testavimo paklaidos. Priemonės: daugiau ar įvairesnių duomenų, paprastesni modeliai, reguliarizavimas, dropout ir kryžminis patikrinimas.
Nepakankamas pritaikymas (angl. underfitting) atsiranda, kai modelis per paprastas, kad užfiksuotų duomenų sąryšius. Tada jis daro daug klaidų ir mokymo, ir naujuose duomenyse, pavyzdžiui, kai tiesė naudojama aiškiai išlinkusiam dėsningumui atvaizduoti. Priemonės: galingesnis modelis, informatyvesni požymiai, ilgesnis mokymas ar mažesnis reguliarizavimas; priešinga problema yra persimokymas.
Mokymo paklaida rodo, kiek modelio prognozės nukrypsta nuo teisingų reikšmių būtent tuose duomenyse, su kuriais jis buvo mokomas. Savaime ji menką ką pasako: svarbu palyginimas su apibendrinimo paklaida naujuose duomenyse. Didelė mokymo paklaida rodo nepakankamą pritaikymą (underfitting); labai maža mokymo paklaida kartu su didele paklaida testavimo duomenyse paprastai signalizuoja persimokymą.
Kryžminis patvirtinimas – tai metodas patikrinti, kaip gerai modelis apibendrina naujus, nematytus duomenis. Taikant k dalių kryžminį patvirtinimą, duomenys padalijami į k dalių; modelis k kartų apmokomas su k−1 dalimi ir kaskart išbandomas su likusia dalimi, o paskui rezultatai suvidurkinami. Tai padeda aptikti persimokymą ir sąžiningai palyginti modelius ar nustatymus, ypač kai duomenų nedaug.
