Inom maskininlärning är en inlärningskurva ett diagram som visar en modells prestanda eller fel över träningstid eller mängden träningsdata, vanligtvis separat för tränings- och valideringsdata. Dess form avslöjar om en modell är under- eller överanpassad och om mer data sannolikt hjälper. Om valideringsfelet till exempel ligger klart över träningsfelet tyder det på överanpassning. I vardagligt språk beskriver begreppet också hur snabbt människor lär sig en ny teknik.
Inom maskininlärning betyder konvergens att en träningsprocedur närmar sig ett stabilt tillstånd: förlusten minskar knappt längre och modellens parametrar ändras bara minimalt. Om och hur snabbt en modell konvergerar beror på faktorer som inlärningshastighet, datakvalitet och modellarkitektur. Är inlärningshastigheten för hög hoppar förlusten omkring; är den för låg tar träningen onödigt lång tid. Konvergens garanterar inte en bra modell, eftersom den ändå kan vara överanpassad.
Överanpassning (overfitting) uppstår när en modell memorerar träningsdata, inklusive slumpmässiga egenheter och brus, i stället för att fånga allmängiltiga mönster. Den ser då mycket exakt ut på bekanta data men presterar dåligt på nya. Ett stort gap mellan träningsfel och testfel är ett typiskt tecken. Motåtgärder är fler eller mer varierade data, enklare modeller, regularisering, dropout och korsvalidering.
Underanpassning uppstår när en modell är för enkel för att fånga sambanden i data. Den gör då många fel både på träningsdata och på nya data, till exempel när en rät linje används för att beskriva ett tydligt krökt mönster. Åtgärder är en kraftfullare modell, mer informativa särdrag, längre träning eller mindre regularisering; det motsatta problemet är överanpassning.
Träningsfel anger hur mycket en modells förutsägelser avviker från de korrekta värdena på exakt de data den tränades på. I sig säger det lite: det som räknas är jämförelsen med generaliseringsfelet på nya data. Ett högt träningsfel tyder på underanpassning; ett mycket lågt träningsfel i kombination med ett högt fel på testdata signalerar vanligtvis överanpassning.
