Niedobór danych występuje wtedy, gdy dla zadania AI brakuje odpowiednich lub oznaczonych danych, aby wiarygodnie wytrenować lub przetestować model. Dotyczy to na przykład rzadkich rodzajów wad w produkcji, niszowych języków albo nowych produktów bez historii sprzedaży. Środki zaradcze to transfer learning, dane syntetyczne, augmentacja danych lub wstępnie wytrenowane modele językowe, które dają użyteczne wyniki już na podstawie kilku przykładów.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoDane syntetyczne są generowane sztucznie, a nie zbierane w świecie rzeczywistym, ale odwzorowują wzorce i właściwości danych rzeczywistych. Pomagają, gdy prawdziwych danych jest mało, są drogie lub wrażliwe z punktu widzenia ochrony danych – na przykład przy testowaniu oprogramowania, trenowaniu modeli lub sprawdzaniu chatbota na realistycznych przykładowych zapytaniach. Ważne, aby wystarczająco wiernie odzwierciedlały rzeczywistość i nie pozwalały wnioskować o prawdziwych osobach.
W uczeniu transferowym model, który nauczył się już dużego, ogólnego zadania, służy jako punkt wyjścia dla nowego, wyspecjalizowanego. Zamiast zaczynać od zera, dostosowuje się go, na przykład przez dostrajanie, przy użyciu stosunkowo niewielkiej ilości własnych danych. Oszczędza to czas obliczeń i dane, na przykład gdy ogólny model obrazowy ma nauczyć się wykrywać wady produkcyjne na zdjęciach.
Uczenie na kilku przykładach (few-shot learning) to zdolność modelu do rozwiązania zadania na podstawie zaledwie garstki przykładów. W modelach językowych dzieje się to zwykle bezpośrednio w danych wejściowych: pokazuje się dwie lub trzy pary pytania i pożądanej odpowiedzi, a model stosuje ten sam format i styl do nowych przypadków – bez ponownego trenowania. Przykład: trzy prawidłowo skategoryzowane zapytania klientów często wystarczą, by kolejne zapytania były sortowane tak samo.
Dane treningowe to przykłady, z których model AI uczy się wzorców: duże zbiory tekstów dla modeli językowych, obrazy z etykietami dla modeli obrazowych. Ich jakość, różnorodność i aktualność w dużej mierze decydują o tym, jak niezawodny i sprawiedliwy jest model oraz jak aktualna jest jego wiedza. Dla organizacji ma też znaczenie, czy dostawca wykorzystuje wprowadzane przez klientów dane do dalszego trenowania.
