Regularisointi kattaa tekniikat, jotka estävät mallia sovittumasta opetusdataansa liian tarkasti opetuksen aikana (ylisovittuminen). Esimerkkejä ovat suurten painojen rankaiseminen (L1- tai L2-regularisointi), neuronien satunnainen sammuttaminen (dropout) tai opetuksen pysäyttäminen oikealla hetkellä (early stopping). Tavoitteena on yksinkertaisempi malli, joka toimii luotettavammin uudessa, näkemättömässä datassa, vaikka se saisi opetusdatassa hieman heikomman tuloksen.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoYlisovittuminen (overfitting) tarkoittaa, että malli oppii opetusdatan ulkoa, satunnaisine erikoisuuksineen ja kohinoineen, sen sijaan että se oppisi yleisesti päteviä säännönmukaisuuksia. Silloin se vaikuttaa erittäin tarkalta tutussa datassa mutta toimii huonosti uudessa datassa. Suuri ero opetus- ja testivirheen välillä on tyypillinen merkki. Torjuntakeinoja ovat enemmän tai monipuolisempi data, yksinkertaisemmat mallit, regularisointi, dropout ja ristiinvalidointi.
Dropout on neuroverkkojen koulutuksessa käytettävä regularisointitekniikka: jokaisessa koulutusvaiheessa satunnainen osa neuroneista kytketään tilapäisesti pois päältä. Tämä estää verkkoa nojaamasta yksittäisiin yhteyksiin, joten se oppii kestävämpiä kuvioita. Se vähentää ylisovittamista eli koulutusdatan pelkkää ulkoa oppimista. Kun valmista mallia käytetään myöhemmin, kaikki neuronit ovat jälleen aktiivisia.
Yleistämisvirhe mittaa, kuinka paljon tekoälymalli erehtyy uudessa, aiemmin näkemättömässä datassa – toisin kuin sen virhe koulutusdatassa. Suuri ero näiden kahden välillä viittaa ylisovittamiseen: malli on opetellut esimerkit ulkoa sen sijaan, että olisi oppinut yleisiä kuvioita. Sitä arvioidaan erillisellä testidatalla tai ristiinvalidoinnilla. Se on luku, jolla todella on merkitystä, koska käytännössä malli kohtaa lähes pelkästään uusia tapauksia.
Alisovittuminen (underfitting) tapahtuu, kun malli on liian yksinkertainen tavoittamaan datan riippuvuuksia. Silloin se tekee paljon virheitä sekä opetusdatassa että uudessa datassa, esimerkiksi kun suoralla yritetään kuvata selvästi kaareutuvaa kuviota. Keinoja ovat tehokkaampi malli, informatiivisemmat piirteet, pidempi opetus tai vähäisempi regularisointi; päinvastainen ongelma on ylisovittuminen.
