Il-validazzjoni inkroċjata hija metodu biex jiġi vverifikat kemm mudell jiġġeneralizza tajjeb għal data ġdida li ma ra qatt. Fil-validazzjoni inkroċjata k-fold, id-data tinqasam f'k partijiet; il-mudell jitħarreġ k darbiet fuq k−1 partijiet u jiġi ttestjat fuq il-parti li tifdal kull darba, u mbagħad ir-riżultati jiġu mmedjati. Dan jgħin jinqabad l-overfitting u jitqabblu mudelli jew settings b'mod ġust, speċjalment meta tkun disponibbli ftit data.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoL-overfitting iseħħ meta mudell jimmemorizza d-data tat-taħriġ, inklużi l-partikolaritajiet każwali u l-istorbju, minflok ma jaqbad mudelli validi b'mod ġenerali. Imbagħad jidher eżatt ħafna fuq data familjari iżda jaħdem ħażin fuq data ġdida. Differenza kbira bejn l-iżball tat-taħriġ u dak tat-test hija sinjal tipiku. Il-kontromiżuri jinkludu aktar data jew data aktar varjata, mudelli aktar sempliċi, regolarizzazzjoni, dropout u validazzjoni inkrokjata.
Iż-żball ta' ġeneralizzazzjoni jkejjel kemm mudell tal-IA jiżbalja fuq data ġdida li qatt ma ra – għall-kuntrarju taż-żball tiegħu fuq id-data tat-taħriġ. Differenza kbira bejn it-tnejn tindika overfitting: il-mudell ħaffeż l-eżempji bl-amment minflok ma tgħallem mudelli ġenerali. Jiġi stmat bl-użu ta' data tat-test miżmuma 'l bogħod jew validazzjoni inkroċjata. Hija ċ-ċifra li tassew tgħodd, għax fil-prattika mudell kważi jiltaqa' biss ma' każijiet ġodda.
L-ipperparametri huma settings stabbiliti qabel ma jitħarreġ mudell, bħar-rata tat-tagħlim, in-numru ta' saffi jew is-saħħa tar-regolarizzazzjoni. L-ottimizzazzjoni tal-ipperparametri tfittex sistematikament il-kombinazzjoni li tagħti l-aħjar prestazzjoni fuq data ta' validazzjoni, pereżempju permezz ta' grid search, random search jew ottimizzazzjoni Bayesjana. Valuri magħżula tajjeb itejbu l-eżattezza u jnaqqsu l-over- jew l-underfitting, iżda t-tiftix jiswa ħin tal-komputazzjoni.
Id-data tat-taħriġ hija l-eżempji li minnhom mudell tal-IA jitgħallem mudelli: kollezzjonijiet kbar ta' test għal mudelli lingwistiċi, immaġini ttikkettjati għal mudelli tal-immaġini. Il-kwalità, id-diversità u l-aġġornament tagħha jiddeterminaw ħafna kemm mudell ikun affidabbli u ġust u kemm l-għarfien tiegħu jkun aġġornat. Għall-organizzazzjonijiet huwa importanti wkoll jekk fornitur juża d-data tal-klijenti li jidħlu għal aktar taħriġ.
