Entropia krzyżowa to miara z teorii informacji, która wskazuje, jak bardzo przewidywany rozkład prawdopodobieństwa odbiega od rzeczywistego. W uczeniu maszynowym jest najczęstszą funkcją straty w zadaniach klasyfikacji, a także w modelach językowych przewidujących kolejny token. Szczególnie mocno karze pewne siebie błędne przewidywania: przypisanie 99% niewłaściwej klasie daje znacznie wyższą stratę niż przypisanie 60%.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoLog loss (strata logarytmiczna) mierzy, jak dobrze przewidywane prawdopodobieństwa modelu klasyfikacyjnego zgadzają się z rzeczywistymi wynikami. Pewne siebie, ale błędne przewidywania są karane szczególnie mocno; wartość bliska zeru wskazuje na dobrze skalibrowane prognozy. Przykład: jeśli model przypisuje 95% prawdopodobieństwa odejścia klientowi, który zostaje, log loss gwałtownie rośnie. Matematycznie jest tożsamy z binarną entropią krzyżową.
Spadek gradientu (gradient descent) to metoda optymalizacji, za pomocą której trenowana jest większość modeli AI. Mierzy się, jak duży jest błąd modelu, oblicza, w którą stronę należy zmienić parametry, aby go zmniejszyć, a następnie robi mały krok w tym kierunku – raz za razem. Przypomina to wędrowca w mgle, który idzie stale w dół, aby dotrzeć do doliny. Wielkość kroku (współczynnik uczenia) decyduje o szybkości i stabilności.
Klasyfikator to model lub metoda, która przypisuje dane wejściowe do jednej z kilku z góry określonych kategorii. Klasyczne warianty, takie jak drzewa decyzyjne czy naiwny klasyfikator bayesowski, są trenowane na oznaczonych przykładach; modele językowe mogą też sortować teksty na podstawie opisu kategorii. Typowe zastosowania to wykrywanie spamu, sortowanie zapytań klientów według tematu i kategoryzowanie rachunków. Jakość mierzy się metrykami takimi jak dokładność, precyzja i czułość.
W uczeniu maszynowym zbieżność oznacza, że procedura trenowania zbliża się do stabilnego stanu: strata prawie już nie maleje, a parametry modelu zmieniają się tylko minimalnie. To, czy i jak szybko model jest zbieżny, zależy od czynników takich jak współczynnik uczenia, jakość danych i architektura modelu. Jeśli współczynnik uczenia jest zbyt wysoki, strata podskakuje; jeśli zbyt niski, trenowanie trwa niepotrzebnie długo. Zbieżność nie gwarantuje dobrego modelu, ponieważ może on być nadal przeuczony.
