Korsentropi är ett mått från informationsteorin som anger hur långt en förutsagd sannolikhetsfördelning avviker från den faktiska. Inom maskininlärning är det den vanligaste förlustfunktionen för klassificeringsuppgifter och även för språkmodeller som förutsäger nästa token. Den straffar särskilt hårt säkra felaktiga förutsägelser: att tilldela 99 % till fel klass ger en mycket högre förlust än att tilldela 60 %.
Logaritmisk förlust (log loss) mäter hur väl de förutsagda sannolikheterna från en klassificeringsmodell stämmer med de faktiska utfallen. Säkra men felaktiga förutsägelser straffas särskilt hårt; ett värde nära noll tyder på välkalibrerade prognoser. Exempel: om en modell anger 95 % sannolikhet för bortfall för en kund som blir kvar ökar den logaritmiska förlusten kraftigt. Matematiskt är den detsamma som binär korsentropi.
Gradientnedstigning är den optimeringsmetod som används för att träna de flesta AI-modeller. Man mäter hur stort modellens fel är, beräknar i vilken riktning parametrarna måste ändras för att minska det och tar sedan ett litet steg i den riktningen – om och om igen. Det är som en vandrare i dimma som hela tiden går nedför för att nå dalen. Stegstorleken (inlärningshastigheten) avgör fart och stabilitet.
En klassificerare är en modell eller metod som placerar indata i en av flera förutbestämda kategorier. Klassiska varianter som beslutsträd eller naiv Bayes tränas på annoterade exempel; språkmodeller kan också sortera texter utifrån en beskrivning av kategorierna. Typiska användningar är skräppostdetektering, sortering av kundförfrågningar efter ämne och kategorisering av kvitton. Kvaliteten mäts med mått som noggrannhet, precision och täckning.
Inom maskininlärning betyder konvergens att en träningsprocedur närmar sig ett stabilt tillstånd: förlusten minskar knappt längre och modellens parametrar ändras bara minimalt. Om och hur snabbt en modell konvergerar beror på faktorer som inlärningshastighet, datakvalitet och modellarkitektur. Är inlärningshastigheten för hög hoppar förlusten omkring; är den för låg tar träningen onödigt lång tid. Konvergens garanterar inte en bra modell, eftersom den ändå kan vara överanpassad.
