Vastavirta-algoritmi (backpropagation) on vakiomenetelmä, jolla neuroverkot oppivat. Jokaisen ennusteen jälkeen virhe mitataan ja levitetään taaksepäin verkon kerrosten läpi, mikä näyttää, kuinka paljon kukin paino vaikutti siihen. Optimointimenetelmä, kuten gradienttimenetelmä, säätää sitten painoja askel kerrallaan. Ilman vastavirta-algoritmia nykyisten kieli- ja kuvamallien kouluttaminen olisi käytännössä mahdotonta.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoGradienttimenetelmä (gradient descent) on optimointimenetelmä, jolla useimmat tekoälymallit koulutetaan. Mitataan, kuinka suuri mallin virhe on, lasketaan, mihin suuntaan parametreja on muutettava virheen pienentämiseksi, ja otetaan sitten pieni askel siihen suuntaan – yhä uudelleen. Se on kuin sumussa kulkeva vaeltaja, joka jatkaa alamäkeen päästäkseen laaksoon. Askelkoko (oppimisnopeus) määrää nopeuden ja vakauden.
Keinotekoiset neuroverkot (ANN) ovat laskennallisia malleja, jotka koostuvat monista kerroksittain järjestetyistä, toisiinsa kytketyistä yksiköistä (”neuroneista”) ja käsittelevät syötteitä painotettujen yhteyksien kautta. Koulutuksen aikana painoja säädetään askel askeleelta esimerkkien avulla, yleensä takaisinkytkennällä (backpropagation). ANN-verkot ovat syväoppimisen perusta, ja ne ovat kuvantunnistuksen, puheentunnistuksen ja suurten kielimallien taustalla. Biologisesta esikuvastaan huolimatta ne toimivat paljon yksinkertaisemmin kuin ihmisaivot.
Aktivointifunktiot määrittävät, kuinka voimakkaasti keinotekoisen neuroverkon neuroni välittää signaalinsa eteenpäin. Ne tuovat verkkoon epälineaarisuutta – vasta sen ansiosta verkko pystyy esittämään monimutkaisia yhteyksiä, kuten kieltä tai kuvia. Yleisiä esimerkkejä ovat ReLU, joka asettaa negatiiviset arvot nollaksi, sigmoid todennäköisyyksille 0:n ja 1:n välillä sekä GELU, jota käytetään monissa transformer-malleissa. Valinta vaikuttaa koulutuksen nopeuteen ja vakauteen.
Ristientropia (cross-entropy) on informaatioteorian mitta, joka ilmaisee, kuinka paljon ennustettu todennäköisyysjakauma poikkeaa todellisesta. Koneoppimisessa se on yleisin tappiofunktio luokittelutehtävissä ja myös kielimalleille, jotka ennustavat seuraavan tokenin. Se rankaisee erityisen kovasti itsevarmoja virheellisiä ennusteita: 99 %:n antaminen väärälle luokalle tuottaa paljon suuremman tappion kuin 60 %:n antaminen.
