Słownik pojęć

Normalizacja wsadowa

Czym jest Normalizacja wsadowa?

Normalizacja wsadowa (batch normalization) to technika trenowania głębokich sieci neuronowych, która dla każdej partii danych przeskalowuje wartości pośrednie warstwy do jednolitej średniej i rozrzutu. Dzięki temu trening jest stabilniejszy i często szybszy, a sieć staje się mniej wrażliwa na wartości początkowe. Technika ta, wprowadzona w 2015 roku, jest powszechna w sieciach do rozpoznawania obrazów; transformery zwykle korzystają z pokrewnej normalizacji warstwowej.

Tematy

Deep learning
Training
Sieci neuronowe

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

Deep learning

Uczenie głębokie (deep learning) to gałąź uczenia maszynowego, która wykorzystuje sztuczne sieci neuronowe o wielu warstwach. Takie sieci uczą się z dużych ilości danych, które cechy mają znaczenie – od krawędzi na obrazach po relacje znaczeniowe w tekstach. Uczenie głębokie leży u podstaw dzisiejszych modeli językowych, rozpoznawania obrazów i mowy oraz tłumaczenia maszynowego i zazwyczaj wymaga znacznej mocy obliczeniowej oraz dużej ilości danych treningowych.

sieci neuronowe
uczenie maszynowe
+1

Dropout

Dropout to technika regularyzacji stosowana przy trenowaniu sieci neuronowych: w każdym kroku treningu losowa część neuronów jest tymczasowo wyłączana. Zapobiega to poleganiu sieci na pojedynczych połączeniach, dzięki czemu uczy się ona bardziej odpornych wzorców. Zmniejsza przeuczenie, czyli zwykłe zapamiętywanie danych treningowych. Gdy gotowy model jest później używany, wszystkie neurony są znów aktywne.

trenowanie
regularyzacja
+1

Regularyzacja

Regularyzacja obejmuje techniki, które w trakcie trenowania zapobiegają zbyt ścisłemu dopasowaniu modelu do danych treningowych (przeuczeniu). Przykłady to karanie dużych wag (regularyzacja L1 lub L2), losowe wyłączanie neuronów (dropout) lub zatrzymanie trenowania w odpowiednim momencie (early stopping). Celem jest prostszy model, który działa bardziej niezawodnie na nowych, nieznanych danych, nawet jeśli na danych treningowych osiąga nieco gorszy wynik.

trenowanie
przeuczenie
+1

Spadek gradientu

Spadek gradientu (gradient descent) to metoda optymalizacji, za pomocą której trenowana jest większość modeli AI. Mierzy się, jak duży jest błąd modelu, oblicza, w którą stronę należy zmienić parametry, aby go zmniejszyć, a następnie robi mały krok w tym kierunku – raz za razem. Przypomina to wędrowca w mgle, który idzie stale w dół, aby dotrzeć do doliny. Wielkość kroku (współczynnik uczenia) decyduje o szybkości i stabilności.

optymalizacja
trenowanie modeli
+1