Dryf modelu to stopniowe pogarszanie się jakości predykcji modelu w trakcie eksploatacji, ponieważ rzeczywistość zmienia się w stosunku do danych treningowych. Rozróżnia się zmiany w danych wejściowych (dryf danych) oraz zmiany zależności między danymi wejściowymi a wynikami (dryf koncepcji). Przykład: model wykrywający oszustwa nie rozpoznaje nowych schematów nadużyć. Środkami zaradczymi są stałe monitorowanie metryk i regularne ponowne trenowanie.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoOdporność modelu opisuje, jak niezawodnie model AI działa, gdy dane wejściowe są zaszumione, niekompletne, nietypowe lub celowo zmanipulowane. Odporny model nadal zapewnia stabilne wyniki, na przykład w rozpoznawaniu obrazów przy słabym oświetleniu albo gdy model językowy radzi sobie z literówkami. Odporność ocenia się za pomocą testów obciążeniowych, zróżnicowanych danych treningowych i testów odporności na celowe próby oszukania modelu; jest szczególnie ważna w zastosowaniach krytycznych dla bezpieczeństwa.
Dane treningowe to przykłady, z których model AI uczy się wzorców: duże zbiory tekstów dla modeli językowych, obrazy z etykietami dla modeli obrazowych. Ich jakość, różnorodność i aktualność w dużej mierze decydują o tym, jak niezawodny i sprawiedliwy jest model oraz jak aktualna jest jego wiedza. Dla organizacji ma też znaczenie, czy dostawca wykorzystuje wprowadzane przez klientów dane do dalszego trenowania.
MLflow to otwartoźródłowa platforma do zarządzania całym cyklem życia modeli uczenia maszynowego, wprowadzona pierwotnie przez Databricks w 2018 roku. Rejestruje eksperymenty wraz z ich parametrami i metrykami, zarządza wersjami modeli w rejestrze i ułatwia wdrażanie. Nowsze wersje obsługują też śledzenie i ocenę aplikacji opartych na modelach językowych. Zespoły mogą dzięki temu prześledzić, który model powstał na jakich danych i przy jakich ustawieniach.
Dokładność opisuje, jak często model AI daje poprawne wyniki; stabilność opisuje, jak niezawodnie ta skuteczność się utrzymuje – przy nieco zmienionych danych wejściowych, nowych danych lub w czasie. Model może być bardzo dokładny w testach, a mimo to niestabilny, jeśli samo przeformułowanie pytania prowadzi do innej odpowiedzi. W rzeczywistym użyciu obie właściwości sprawdza się za pomocą stałych przypadków testowych, walidacji krzyżowej i ciągłego monitorowania.
