Ristientropia (cross-entropy) on informaatioteorian mitta, joka ilmaisee, kuinka paljon ennustettu todennäköisyysjakauma poikkeaa todellisesta. Koneoppimisessa se on yleisin tappiofunktio luokittelutehtävissä ja myös kielimalleille, jotka ennustavat seuraavan tokenin. Se rankaisee erityisen kovasti itsevarmoja virheellisiä ennusteita: 99 %:n antaminen väärälle luokalle tuottaa paljon suuremman tappion kuin 60 %:n antaminen.
Agentit, työnkulut ja mallit yhdessä työtilassa – maksuton 24 tunnin demo.
Aloita demoLog loss (logaritminen tappio) mittaa, kuinka hyvin luokittelumallin ennustetut todennäköisyydet vastaavat todellisia tuloksia. Itsevarmat mutta väärät ennusteet saavat erityisen ankaran rangaistuksen; nollaa lähellä oleva arvo viittaa hyvin kalibroituihin ennusteisiin. Esimerkki: jos malli antaa 95 %:n poistumatodennäköisyyden asiakkaalle, joka jää, log loss nousee jyrkästi. Matemaattisesti se on sama kuin binäärinen ristientropia.
Gradienttimenetelmä (gradient descent) on optimointimenetelmä, jolla useimmat tekoälymallit koulutetaan. Mitataan, kuinka suuri mallin virhe on, lasketaan, mihin suuntaan parametreja on muutettava virheen pienentämiseksi, ja otetaan sitten pieni askel siihen suuntaan – yhä uudelleen. Se on kuin sumussa kulkeva vaeltaja, joka jatkaa alamäkeen päästäkseen laaksoon. Askelkoko (oppimisnopeus) määrää nopeuden ja vakauden.
Luokittelija on malli tai menetelmä, joka osoittaa syötteet johonkin useista ennalta määritellyistä luokista. Klassiset muunnelmat, kuten päätöspuut tai naiivi Bayes, koulutetaan merkityillä esimerkeillä; kielimallit voivat myös lajitella tekstejä luokkien kuvauksen perusteella. Tyypillisiä käyttötarkoituksia ovat roskapostin tunnistus, asiakaskyselyiden lajittelu aiheen mukaan ja kuittien luokittelu. Laatua mitataan mittareilla, kuten osuvuudella, tarkkuudella ja saannilla.
Koneoppimisessa konvergenssi tarkoittaa, että koulutusmenettely lähestyy vakaata tilaa: tappio pienenee tuskin enää ja mallin parametrit muuttuvat vain vähän. Se, konvergoituuko malli ja kuinka nopeasti, riippuu tekijöistä, kuten oppimisnopeudesta, datan laadusta ja mallin arkkitehtuurista. Jos oppimisnopeus on liian suuri, tappio vaihtelee holtittomasti; jos liian pieni, koulutus kestää tarpeettoman kauan. Konvergenssi ei takaa hyvää mallia, sillä se voi silti olla ylisovitettu.
