Eränormalisointi (batch normalisation) on syvien neuroverkkojen koulutustekniikka, joka skaalaa kerroksen väliarvot jokaisessa dataerässä yhtenäiseen keskiarvoon ja hajontaan. Tämä tekee koulutuksesta vakaampaa ja usein nopeampaa, ja verkko on vähemmän herkkä alkuarvoilleen. Vuonna 2015 esitelty tekniikka on yleinen kuvantunnistusverkoissa; transformer-mallit nojaavat yleensä siihen läheisesti liittyvään kerrosnormalisointiin.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoSyväoppiminen on koneoppimisen haara, joka käyttää tekoälyn keinotekoisia neuroverkkoja, joissa on monta kerrosta. Tällaiset verkot oppivat suurista datamääristä, mitkä piirteet ovat tärkeitä – kuvien reunoista tekstien merkityssuhteisiin. Syväoppiminen on nykyisten kielimallien, kuvan- ja puheentunnistuksen sekä konekäännöksen perusta, ja se vaatii yleensä paljon laskentatehoa ja koulutusdataa.
Dropout on neuroverkkojen koulutuksessa käytettävä regularisointitekniikka: jokaisessa koulutusvaiheessa satunnainen osa neuroneista kytketään tilapäisesti pois päältä. Tämä estää verkkoa nojaamasta yksittäisiin yhteyksiin, joten se oppii kestävämpiä kuvioita. Se vähentää ylisovittamista eli koulutusdatan pelkkää ulkoa oppimista. Kun valmista mallia käytetään myöhemmin, kaikki neuronit ovat jälleen aktiivisia.
Regularisointi kattaa tekniikat, jotka estävät mallia sovittumasta opetusdataansa liian tarkasti opetuksen aikana (ylisovittuminen). Esimerkkejä ovat suurten painojen rankaiseminen (L1- tai L2-regularisointi), neuronien satunnainen sammuttaminen (dropout) tai opetuksen pysäyttäminen oikealla hetkellä (early stopping). Tavoitteena on yksinkertaisempi malli, joka toimii luotettavammin uudessa, näkemättömässä datassa, vaikka se saisi opetusdatassa hieman heikomman tuloksen.
Gradienttimenetelmä (gradient descent) on optimointimenetelmä, jolla useimmat tekoälymallit koulutetaan. Mitataan, kuinka suuri mallin virhe on, lasketaan, mihin suuntaan parametreja on muutettava virheen pienentämiseksi, ja otetaan sitten pieni askel siihen suuntaan – yhä uudelleen. Se on kuin sumussa kulkeva vaeltaja, joka jatkaa alamäkeen päästäkseen laaksoon. Askelkoko (oppimisnopeus) määrää nopeuden ja vakauden.
