Funkcje aktywacji określają, jak silnie neuron w sztucznej sieci neuronowej przekazuje dalej swój sygnał. Wprowadzają nieliniowość – dopiero dzięki niej sieć może odwzorowywać złożone zależności, takie jak język czy obrazy. Popularne przykłady to ReLU, która ustawia wartości ujemne na zero, sigmoida dla prawdopodobieństw z zakresu od 0 do 1 oraz GELU, stosowana w wielu modelach typu transformer. Wybór funkcji wpływa na szybkość i stabilność treningu.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoSztuczne sieci neuronowe (ANN) to modele obliczeniowe złożone z wielu połączonych jednostek („neuronów”) ułożonych w warstwy, które przetwarzają dane wejściowe przez ważone połączenia. Podczas trenowania wagi są stopniowo dostosowywane na podstawie przykładów, zwykle metodą propagacji wstecznej. ANN są podstawą uczenia głębokiego i napędzają rozpoznawanie obrazów, rozpoznawanie mowy oraz duże modele językowe. Mimo biologicznej inspiracji działają znacznie prościej niż ludzki mózg.
Propagacja wsteczna (backpropagation) to standardowa metoda, za pomocą której uczą się sieci neuronowe. Po każdej predykcji mierzony jest błąd, który następnie propagowany jest wstecz przez warstwy sieci, co pokazuje, w jakim stopniu każda waga się do niego przyczyniła. Metoda optymalizacji, taka jak spadek gradientu, dostosowuje następnie wagi krok po kroku. Bez propagacji wstecznej trenowanie dzisiejszych modeli językowych i obrazowych byłoby praktycznie niemożliwe.
Uczenie głębokie (deep learning) to gałąź uczenia maszynowego, która wykorzystuje sztuczne sieci neuronowe o wielu warstwach. Takie sieci uczą się z dużych ilości danych, które cechy mają znaczenie – od krawędzi na obrazach po relacje znaczeniowe w tekstach. Uczenie głębokie leży u podstaw dzisiejszych modeli językowych, rozpoznawania obrazów i mowy oraz tłumaczenia maszynowego i zazwyczaj wymaga znacznej mocy obliczeniowej oraz dużej ilości danych treningowych.
