Regularyzacja obejmuje techniki, które w trakcie trenowania zapobiegają zbyt ścisłemu dopasowaniu modelu do danych treningowych (przeuczeniu). Przykłady to karanie dużych wag (regularyzacja L1 lub L2), losowe wyłączanie neuronów (dropout) lub zatrzymanie trenowania w odpowiednim momencie (early stopping). Celem jest prostszy model, który działa bardziej niezawodnie na nowych, nieznanych danych, nawet jeśli na danych treningowych osiąga nieco gorszy wynik.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPrzeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
Dropout to technika regularyzacji stosowana przy trenowaniu sieci neuronowych: w każdym kroku treningu losowa część neuronów jest tymczasowo wyłączana. Zapobiega to poleganiu sieci na pojedynczych połączeniach, dzięki czemu uczy się ona bardziej odpornych wzorców. Zmniejsza przeuczenie, czyli zwykłe zapamiętywanie danych treningowych. Gdy gotowy model jest później używany, wszystkie neurony są znów aktywne.
Błąd generalizacji mierzy, jak bardzo model AI się myli na nowych, nieznanych wcześniej danych – w odróżnieniu od jego błędu na danych treningowych. Duża różnica między nimi wskazuje na przeuczenie: model zapamiętał przykłady zamiast nauczyć się ogólnych wzorców. Szacuje się go na zatrzymanych danych testowych lub za pomocą walidacji krzyżowej. To właśnie ta wartość naprawdę się liczy, ponieważ w praktyce model niemal wyłącznie spotyka nowe przypadki.
Niedouczenie (underfitting) występuje wtedy, gdy model jest zbyt prosty, aby uchwycić zależności w danych. Popełnia wówczas wiele błędów zarówno na danych treningowych, jak i na nowych, na przykład gdy do odwzorowania wyraźnie zakrzywionego wzorca używa się linii prostej. Środki zaradcze to mocniejszy model, bardziej informatywne cechy, dłuższe trenowanie lub słabsza regularyzacja; przeciwny problem to przeuczenie.
