Walidacja krzyżowa to metoda sprawdzania, jak dobrze model generalizuje na nowe, nieznane dane. W k-krotnej walidacji krzyżowej dane dzieli się na k części; model jest trenowany k razy na k−1 częściach i za każdym razem testowany na pozostałej, po czym wyniki są uśredniane. Pomaga to wykrywać przeuczenie oraz rzetelnie porównywać modele lub ustawienia, zwłaszcza gdy danych jest niewiele.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPrzeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
Błąd generalizacji mierzy, jak bardzo model AI się myli na nowych, nieznanych wcześniej danych – w odróżnieniu od jego błędu na danych treningowych. Duża różnica między nimi wskazuje na przeuczenie: model zapamiętał przykłady zamiast nauczyć się ogólnych wzorców. Szacuje się go na zatrzymanych danych testowych lub za pomocą walidacji krzyżowej. To właśnie ta wartość naprawdę się liczy, ponieważ w praktyce model niemal wyłącznie spotyka nowe przypadki.
Hiperparametry to ustawienia określane przed wytrenowaniem modelu, takie jak współczynnik uczenia, liczba warstw czy siła regularyzacji. Optymalizacja hiperparametrów systematycznie szuka kombinacji, która sprawdza się najlepiej na danych walidacyjnych, na przykład metodą przeszukiwania siatki, losowego przeszukiwania lub optymalizacji bayesowskiej. Dobrze dobrane wartości poprawiają dokładność i zmniejszają przeuczenie lub niedouczenie, ale poszukiwania kosztują czas obliczeniowy.
Dane treningowe to przykłady, z których model AI uczy się wzorców: duże zbiory tekstów dla modeli językowych, obrazy z etykietami dla modeli obrazowych. Ich jakość, różnorodność i aktualność w dużej mierze decydują o tym, jak niezawodny i sprawiedliwy jest model oraz jak aktualna jest jego wiedza. Dla organizacji ma też znaczenie, czy dostawca wykorzystuje wprowadzane przez klientów dane do dalszego trenowania.
