L-overfitting iseħħ meta mudell jimmemorizza d-data tat-taħriġ, inklużi l-partikolaritajiet każwali u l-istorbju, minflok ma jaqbad mudelli validi b'mod ġenerali. Imbagħad jidher eżatt ħafna fuq data familjari iżda jaħdem ħażin fuq data ġdida. Differenza kbira bejn l-iżball tat-taħriġ u dak tat-test hija sinjal tipiku. Il-kontromiżuri jinkludu aktar data jew data aktar varjata, mudelli aktar sempliċi, regolarizzazzjoni, dropout u validazzjoni inkrokjata.
Aġenti, flussi tax-xogħol u mudelli fi spazju tax-xogħol wieħed – demo b'xejn għal 24 siegħa.
Ibda d-demoL-underfitting iseħħ meta mudell ikun sempliċi wisq biex jaqbad ir-relazzjonijiet fid-data. Imbagħad jagħmel ħafna żbalji kemm fuq id-data tat-taħriġ kif ukoll fuq data ġdida, per eżempju meta tintuża linja dritta biex tirrappreżenta mudell ċar mgħawweġ. Ir-rimedji jinkludu mudell aktar b'saħħtu, karatteristiċi aktar informattivi, taħriġ itwal jew inqas regolarizzazzjoni; il-problema opposta hija l-overfitting.
Ir-regolarizzazzjoni tkopri tekniki li jwaqqfu mudell milli jadatta wisq mill-qrib għad-data tat-taħriġ tiegħu waqt it-taħriġ (overfitting). L-eżempji jinkludu penali fuq piżijiet kbar (regolarizzazzjoni L1 jew L2), tfi każwali ta' newroni (dropout) jew twaqqif tat-taħriġ fil-mument it-tajjeb (early stopping). L-għan huwa mudell aktar sempliċi li jaħdem b'mod aktar affidabbli fuq data ġdida li ma ratx qabel, anki jekk jikseb punteġġ kemmxejn inqas fuq id-data tat-taħriġ.
Il-validazzjoni inkroċjata hija metodu biex jiġi vverifikat kemm mudell jiġġeneralizza tajjeb għal data ġdida li ma ra qatt. Fil-validazzjoni inkroċjata k-fold, id-data tinqasam f'k partijiet; il-mudell jitħarreġ k darbiet fuq k−1 partijiet u jiġi ttestjat fuq il-parti li tifdal kull darba, u mbagħad ir-riżultati jiġu mmedjati. Dan jgħin jinqabad l-overfitting u jitqabblu mudelli jew settings b'mod ġust, speċjalment meta tkun disponibbli ftit data.
Iż-żball ta' ġeneralizzazzjoni jkejjel kemm mudell tal-IA jiżbalja fuq data ġdida li qatt ma ra – għall-kuntrarju taż-żball tiegħu fuq id-data tat-taħriġ. Differenza kbira bejn it-tnejn tindika overfitting: il-mudell ħaffeż l-eżempji bl-amment minflok ma tgħallem mudelli ġenerali. Jiġi stmat bl-użu ta' data tat-test miżmuma 'l bogħod jew validazzjoni inkroċjata. Hija ċ-ċifra li tassew tgħodd, għax fil-prattika mudell kważi jiltaqa' biss ma' każijiet ġodda.
