Niedouczenie (underfitting) występuje wtedy, gdy model jest zbyt prosty, aby uchwycić zależności w danych. Popełnia wówczas wiele błędów zarówno na danych treningowych, jak i na nowych, na przykład gdy do odwzorowania wyraźnie zakrzywionego wzorca używa się linii prostej. Środki zaradcze to mocniejszy model, bardziej informatywne cechy, dłuższe trenowanie lub słabsza regularyzacja; przeciwny problem to przeuczenie.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPrzeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
Błąd generalizacji mierzy, jak bardzo model AI się myli na nowych, nieznanych wcześniej danych – w odróżnieniu od jego błędu na danych treningowych. Duża różnica między nimi wskazuje na przeuczenie: model zapamiętał przykłady zamiast nauczyć się ogólnych wzorców. Szacuje się go na zatrzymanych danych testowych lub za pomocą walidacji krzyżowej. To właśnie ta wartość naprawdę się liczy, ponieważ w praktyce model niemal wyłącznie spotyka nowe przypadki.
Błąd treningowy wskazuje, jak bardzo przewidywania modelu odbiegają od poprawnych wartości dokładnie na tych danych, na których był trenowany. Sam w sobie mówi niewiele: liczy się porównanie z błędem generalizacji na nowych danych. Wysoki błąd treningowy wskazuje na niedouczenie; bardzo niski błąd treningowy w połączeniu z wysokim błędem na danych testowych zwykle sygnalizuje przeuczenie.
Regularyzacja obejmuje techniki, które w trakcie trenowania zapobiegają zbyt ścisłemu dopasowaniu modelu do danych treningowych (przeuczeniu). Przykłady to karanie dużych wag (regularyzacja L1 lub L2), losowe wyłączanie neuronów (dropout) lub zatrzymanie trenowania w odpowiednim momencie (early stopping). Celem jest prostszy model, który działa bardziej niezawodnie na nowych, nieznanych danych, nawet jeśli na danych treningowych osiąga nieco gorszy wynik.
