Dropout to technika regularyzacji stosowana przy trenowaniu sieci neuronowych: w każdym kroku treningu losowa część neuronów jest tymczasowo wyłączana. Zapobiega to poleganiu sieci na pojedynczych połączeniach, dzięki czemu uczy się ona bardziej odpornych wzorców. Zmniejsza przeuczenie, czyli zwykłe zapamiętywanie danych treningowych. Gdy gotowy model jest później używany, wszystkie neurony są znów aktywne.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoPrzeuczenie (overfitting) występuje wtedy, gdy model zapamiętuje dane treningowe, łącznie z przypadkowymi osobliwościami i szumem, zamiast uchwycić ogólnie obowiązujące wzorce. Wydaje się wtedy bardzo dokładny na znanych danych, ale radzi sobie słabo z nowymi. Typowym sygnałem jest duża różnica między błędem treningowym a błędem testowym. Środki zaradcze to więcej lub bardziej zróżnicowane dane, prostsze modele, regularyzacja, dropout i walidacja krzyżowa.
Regularyzacja obejmuje techniki, które w trakcie trenowania zapobiegają zbyt ścisłemu dopasowaniu modelu do danych treningowych (przeuczeniu). Przykłady to karanie dużych wag (regularyzacja L1 lub L2), losowe wyłączanie neuronów (dropout) lub zatrzymanie trenowania w odpowiednim momencie (early stopping). Celem jest prostszy model, który działa bardziej niezawodnie na nowych, nieznanych danych, nawet jeśli na danych treningowych osiąga nieco gorszy wynik.
Sztuczne sieci neuronowe (ANN) to modele obliczeniowe złożone z wielu połączonych jednostek („neuronów”) ułożonych w warstwy, które przetwarzają dane wejściowe przez ważone połączenia. Podczas trenowania wagi są stopniowo dostosowywane na podstawie przykładów, zwykle metodą propagacji wstecznej. ANN są podstawą uczenia głębokiego i napędzają rozpoznawanie obrazów, rozpoznawanie mowy oraz duże modele językowe. Mimo biologicznej inspiracji działają znacznie prościej niż ludzki mózg.
Normalizacja wsadowa (batch normalization) to technika trenowania głębokich sieci neuronowych, która dla każdej partii danych przeskalowuje wartości pośrednie warstwy do jednolitej średniej i rozrzutu. Dzięki temu trening jest stabilniejszy i często szybszy, a sieć staje się mniej wrażliwa na wartości początkowe. Technika ta, wprowadzona w 2015 roku, jest powszechna w sieciach do rozpoznawania obrazów; transformery zwykle korzystają z pokrewnej normalizacji warstwowej.
