Gradienttimenetelmä (gradient descent) on optimointimenetelmä, jolla useimmat tekoälymallit koulutetaan. Mitataan, kuinka suuri mallin virhe on, lasketaan, mihin suuntaan parametreja on muutettava virheen pienentämiseksi, ja otetaan sitten pieni askel siihen suuntaan – yhä uudelleen. Se on kuin sumussa kulkeva vaeltaja, joka jatkaa alamäkeen päästäkseen laaksoon. Askelkoko (oppimisnopeus) määrää nopeuden ja vakauden.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoVastavirta-algoritmi (backpropagation) on vakiomenetelmä, jolla neuroverkot oppivat. Jokaisen ennusteen jälkeen virhe mitataan ja levitetään taaksepäin verkon kerrosten läpi, mikä näyttää, kuinka paljon kukin paino vaikutti siihen. Optimointimenetelmä, kuten gradienttimenetelmä, säätää sitten painoja askel kerrallaan. Ilman vastavirta-algoritmia nykyisten kieli- ja kuvamallien kouluttaminen olisi käytännössä mahdotonta.
Koneoppimisessa konvergenssi tarkoittaa, että koulutusmenettely lähestyy vakaata tilaa: tappio pienenee tuskin enää ja mallin parametrit muuttuvat vain vähän. Se, konvergoituuko malli ja kuinka nopeasti, riippuu tekijöistä, kuten oppimisnopeudesta, datan laadusta ja mallin arkkitehtuurista. Jos oppimisnopeus on liian suuri, tappio vaihtelee holtittomasti; jos liian pieni, koulutus kestää tarpeettoman kauan. Konvergenssi ei takaa hyvää mallia, sillä se voi silti olla ylisovitettu.
Ristientropia (cross-entropy) on informaatioteorian mitta, joka ilmaisee, kuinka paljon ennustettu todennäköisyysjakauma poikkeaa todellisesta. Koneoppimisessa se on yleisin tappiofunktio luokittelutehtävissä ja myös kielimalleille, jotka ennustavat seuraavan tokenin. Se rankaisee erityisen kovasti itsevarmoja virheellisiä ennusteita: 99 %:n antaminen väärälle luokalle tuottaa paljon suuremman tappion kuin 60 %:n antaminen.
Hyperparametrit ovat asetuksia, jotka määritetään ennen mallin koulutusta, kuten oppimisnopeus, kerrosten määrä tai regularisoinnin voimakkuus. Hyperparametrien optimointi etsii järjestelmällisesti yhdistelmän, joka toimii parhaiten validointidatalla, esimerkiksi ruudukkohaulla, satunnaishaulla tai bayesilaisella optimoinnilla. Hyvin valitut arvot parantavat tarkkuutta ja vähentävät ylä- tai alisovittamista, mutta haku vie laskenta-aikaa.
