Propagacja wsteczna (backpropagation) to standardowa metoda, za pomocą której uczą się sieci neuronowe. Po każdej predykcji mierzony jest błąd, który następnie propagowany jest wstecz przez warstwy sieci, co pokazuje, w jakim stopniu każda waga się do niego przyczyniła. Metoda optymalizacji, taka jak spadek gradientu, dostosowuje następnie wagi krok po kroku. Bez propagacji wstecznej trenowanie dzisiejszych modeli językowych i obrazowych byłoby praktycznie niemożliwe.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoSpadek gradientu (gradient descent) to metoda optymalizacji, za pomocą której trenowana jest większość modeli AI. Mierzy się, jak duży jest błąd modelu, oblicza, w którą stronę należy zmienić parametry, aby go zmniejszyć, a następnie robi mały krok w tym kierunku – raz za razem. Przypomina to wędrowca w mgle, który idzie stale w dół, aby dotrzeć do doliny. Wielkość kroku (współczynnik uczenia) decyduje o szybkości i stabilności.
Sztuczne sieci neuronowe (ANN) to modele obliczeniowe złożone z wielu połączonych jednostek („neuronów”) ułożonych w warstwy, które przetwarzają dane wejściowe przez ważone połączenia. Podczas trenowania wagi są stopniowo dostosowywane na podstawie przykładów, zwykle metodą propagacji wstecznej. ANN są podstawą uczenia głębokiego i napędzają rozpoznawanie obrazów, rozpoznawanie mowy oraz duże modele językowe. Mimo biologicznej inspiracji działają znacznie prościej niż ludzki mózg.
Funkcje aktywacji określają, jak silnie neuron w sztucznej sieci neuronowej przekazuje dalej swój sygnał. Wprowadzają nieliniowość – dopiero dzięki niej sieć może odwzorowywać złożone zależności, takie jak język czy obrazy. Popularne przykłady to ReLU, która ustawia wartości ujemne na zero, sigmoida dla prawdopodobieństw z zakresu od 0 do 1 oraz GELU, stosowana w wielu modelach typu transformer. Wybór funkcji wpływa na szybkość i stabilność treningu.
Entropia krzyżowa to miara z teorii informacji, która wskazuje, jak bardzo przewidywany rozkład prawdopodobieństwa odbiega od rzeczywistego. W uczeniu maszynowym jest najczęstszą funkcją straty w zadaniach klasyfikacji, a także w modelach językowych przewidujących kolejny token. Szczególnie mocno karze pewne siebie błędne przewidywania: przypisanie 99% niewłaściwej klasie daje znacznie wyższą stratę niż przypisanie 60%.
