Persimokymas atsiranda, kai modelis įsimena mokymo duomenis, įskaitant atsitiktinius ypatumus ir triukšmą, užuot išmokęs visuotinai galiojančių dėsningumų. Tada jis atrodo labai tikslus su pažįstamais duomenimis, bet prastai veikia su naujais. Tipiškas požymis – didelis atotrūkis tarp mokymo ir testavimo paklaidos. Priemonės: daugiau ar įvairesnių duomenų, paprastesni modeliai, reguliarizavimas, dropout ir kryžminis patikrinimas.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąNepakankamas pritaikymas (angl. underfitting) atsiranda, kai modelis per paprastas, kad užfiksuotų duomenų sąryšius. Tada jis daro daug klaidų ir mokymo, ir naujuose duomenyse, pavyzdžiui, kai tiesė naudojama aiškiai išlinkusiam dėsningumui atvaizduoti. Priemonės: galingesnis modelis, informatyvesni požymiai, ilgesnis mokymas ar mažesnis reguliarizavimas; priešinga problema yra persimokymas.
Reguliarizavimas apima metodus, kurie mokymo metu neleidžia modeliui per tiksliai prisitaikyti prie mokymo duomenų (persimokymas). Pavyzdžiai: didelių svorių baudimas (L1 arba L2 reguliarizavimas), atsitiktinis neuronų išjungimas (dropout) arba mokymo sustabdymas tinkamu momentu (early stopping). Tikslas – paprastesnis modelis, patikimiau veikiantis su naujais, nematytais duomenimis, net jei mokymo duomenyse jo rezultatas šiek tiek prastesnis.
Kryžminis patvirtinimas – tai metodas patikrinti, kaip gerai modelis apibendrina naujus, nematytus duomenis. Taikant k dalių kryžminį patvirtinimą, duomenys padalijami į k dalių; modelis k kartų apmokomas su k−1 dalimi ir kaskart išbandomas su likusia dalimi, o paskui rezultatai suvidurkinami. Tai padeda aptikti persimokymą ir sąžiningai palyginti modelius ar nustatymus, ypač kai duomenų nedaug.
Apibendrinimo paklaida parodo, kiek DI modelis klysta su naujais, anksčiau nematytais duomenimis – priešingai nei jo paklaida mokymo duomenims. Didelis skirtumas tarp jų rodo persimokymą: modelis įsiminė pavyzdžius, užuot išmokęs bendrus dėsningumus. Ji vertinama naudojant atskirtus testinius duomenis arba kryžminį patvirtinimą. Tai tikrai svarbus rodiklis, nes praktikoje modelis beveik visada susiduria su naujais atvejais.
