Kryžminis patvirtinimas – tai metodas patikrinti, kaip gerai modelis apibendrina naujus, nematytus duomenis. Taikant k dalių kryžminį patvirtinimą, duomenys padalijami į k dalių; modelis k kartų apmokomas su k−1 dalimi ir kaskart išbandomas su likusia dalimi, o paskui rezultatai suvidurkinami. Tai padeda aptikti persimokymą ir sąžiningai palyginti modelius ar nustatymus, ypač kai duomenų nedaug.
Agentai, srautai ir šablonai vienoje darbo srityje – nemokama 24 valandų demonstracinė versija.
Pradėti demonstracijąPersimokymas atsiranda, kai modelis įsimena mokymo duomenis, įskaitant atsitiktinius ypatumus ir triukšmą, užuot išmokęs visuotinai galiojančių dėsningumų. Tada jis atrodo labai tikslus su pažįstamais duomenimis, bet prastai veikia su naujais. Tipiškas požymis – didelis atotrūkis tarp mokymo ir testavimo paklaidos. Priemonės: daugiau ar įvairesnių duomenų, paprastesni modeliai, reguliarizavimas, dropout ir kryžminis patikrinimas.
Apibendrinimo paklaida parodo, kiek DI modelis klysta su naujais, anksčiau nematytais duomenimis – priešingai nei jo paklaida mokymo duomenims. Didelis skirtumas tarp jų rodo persimokymą: modelis įsiminė pavyzdžius, užuot išmokęs bendrus dėsningumus. Ji vertinama naudojant atskirtus testinius duomenis arba kryžminį patvirtinimą. Tai tikrai svarbus rodiklis, nes praktikoje modelis beveik visada susiduria su naujais atvejais.
Hiperparametrai yra nustatymai, parenkami prieš apmokant modelį, pavyzdžiui, mokymosi sparta, sluoksnių skaičius ar reguliarizavimo stiprumas. Hiperparametrų optimizavimas sistemingai ieško derinio, kuris geriausiai veikia su validavimo duomenimis, pavyzdžiui, tinklelio paieška, atsitiktine paieška ar Bajeso optimizavimu. Gerai parinktos reikšmės pagerina tikslumą ir sumažina per didelį ar per mažą pritaikymą, tačiau paieška kainuoja skaičiavimo laiko.
Mokymo duomenys – pavyzdžiai, iš kurių DI modelis mokosi dėsningumų: dideli tekstų rinkiniai kalbos modeliams, pažymėti vaizdai vaizdų modeliams. Jų kokybė, įvairovė ir naujumas daugiausia lemia, kaip patikimas ir teisingas bus modelis ir kokios šviežios bus jo žinios. Organizacijoms taip pat svarbu, ar tiekėjas jų įvestus klientų duomenis naudoja tolesniam mokymui.
