Błąd generalizacji mierzy, jak bardzo model AI się myli na nowych, nieznanych wcześniej danych – w odróżnieniu od jego błędu na danych treningowych. Duża różnica między nimi wskazuje na przeuczenie: model zapamiętał przykłady zamiast nauczyć się ogólnych wzorców. Szacuje się go na zatrzymanych danych testowych lub za pomocą walidacji krzyżowej. To właśnie ta wartość naprawdę się liczy, ponieważ w praktyce model niemal wyłącznie spotyka nowe przypadki.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPrzeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
Niedouczenie (underfitting) występuje wtedy, gdy model jest zbyt prosty, aby uchwycić zależności w danych. Popełnia wówczas wiele błędów zarówno na danych treningowych, jak i na nowych, na przykład gdy do odwzorowania wyraźnie zakrzywionego wzorca używa się linii prostej. Środki zaradcze to mocniejszy model, bardziej informatywne cechy, dłuższe trenowanie lub słabsza regularyzacja; przeciwny problem to przeuczenie.
Błąd treningowy wskazuje, jak bardzo przewidywania modelu odbiegają od poprawnych wartości dokładnie na tych danych, na których był trenowany. Sam w sobie mówi niewiele: liczy się porównanie z błędem generalizacji na nowych danych. Wysoki błąd treningowy wskazuje na niedouczenie; bardzo niski błąd treningowy w połączeniu z wysokim błędem na danych testowych zwykle sygnalizuje przeuczenie.
Walidacja krzyżowa to metoda sprawdzania, jak dobrze model generalizuje na nowe, nieznane dane. W k-krotnej walidacji krzyżowej dane dzieli się na k części; model jest trenowany k razy na k−1 częściach i za każdym razem testowany na pozostałej, po czym wyniki są uśredniane. Pomaga to wykrywać przeuczenie oraz rzetelnie porównywać modele lub ustawienia, zwłaszcza gdy danych jest niewiele.
