Dropout on neuroverkkojen koulutuksessa käytettävä regularisointitekniikka: jokaisessa koulutusvaiheessa satunnainen osa neuroneista kytketään tilapäisesti pois päältä. Tämä estää verkkoa nojaamasta yksittäisiin yhteyksiin, joten se oppii kestävämpiä kuvioita. Se vähentää ylisovittamista eli koulutusdatan pelkkää ulkoa oppimista. Kun valmista mallia käytetään myöhemmin, kaikki neuronit ovat jälleen aktiivisia.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoYlisovittuminen (overfitting) tarkoittaa, että malli oppii opetusdatan ulkoa, satunnaisine erikoisuuksineen ja kohinoineen, sen sijaan että se oppisi yleisesti päteviä säännönmukaisuuksia. Silloin se vaikuttaa erittäin tarkalta tutussa datassa mutta toimii huonosti uudessa datassa. Suuri ero opetus- ja testivirheen välillä on tyypillinen merkki. Torjuntakeinoja ovat enemmän tai monipuolisempi data, yksinkertaisemmat mallit, regularisointi, dropout ja ristiinvalidointi.
Regularisointi kattaa tekniikat, jotka estävät mallia sovittumasta opetusdataansa liian tarkasti opetuksen aikana (ylisovittuminen). Esimerkkejä ovat suurten painojen rankaiseminen (L1- tai L2-regularisointi), neuronien satunnainen sammuttaminen (dropout) tai opetuksen pysäyttäminen oikealla hetkellä (early stopping). Tavoitteena on yksinkertaisempi malli, joka toimii luotettavammin uudessa, näkemättömässä datassa, vaikka se saisi opetusdatassa hieman heikomman tuloksen.
Keinotekoiset neuroverkot (ANN) ovat laskennallisia malleja, jotka koostuvat monista kerroksittain järjestetyistä, toisiinsa kytketyistä yksiköistä (”neuroneista”) ja käsittelevät syötteitä painotettujen yhteyksien kautta. Koulutuksen aikana painoja säädetään askel askeleelta esimerkkien avulla, yleensä takaisinkytkennällä (backpropagation). ANN-verkot ovat syväoppimisen perusta, ja ne ovat kuvantunnistuksen, puheentunnistuksen ja suurten kielimallien taustalla. Biologisesta esikuvastaan huolimatta ne toimivat paljon yksinkertaisemmin kuin ihmisaivot.
Eränormalisointi (batch normalisation) on syvien neuroverkkojen koulutustekniikka, joka skaalaa kerroksen väliarvot jokaisessa dataerässä yhtenäiseen keskiarvoon ja hajontaan. Tämä tekee koulutuksesta vakaampaa ja usein nopeampaa, ja verkko on vähemmän herkkä alkuarvoilleen. Vuonna 2015 esitelty tekniikka on yleinen kuvantunnistusverkoissa; transformer-mallit nojaavat yleensä siihen läheisesti liittyvään kerrosnormalisointiin.
