W uczeniu transferowym model, który nauczył się już dużego, ogólnego zadania, służy jako punkt wyjścia dla nowego, wyspecjalizowanego. Zamiast zaczynać od zera, dostosowuje się go, na przykład przez dostrajanie, przy użyciu stosunkowo niewielkiej ilości własnych danych. Oszczędza to czas obliczeń i dane, na przykład gdy ogólny model obrazowy ma nauczyć się wykrywać wady produkcyjne na zdjęciach.
Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.
Uruchom demoDostrajanie (fine-tuning) oznacza dalsze trenowanie już wstępnie wytrenowanego modelu AI na dodatkowych, zwykle specyficznych dla zadania danych. Jego wewnętrzne wagi są korygowane tak, aby model niezawodniej radził sobie na przykład z określonym stylem pisania, słownictwem fachowym lub formatem wyniku. Dostrajanie wymaga starannie przygotowanych przykładowych danych, mocy obliczeniowej i testów. W wielu zastosowaniach wystarczają dobrze napisane instrukcje i podłączona wiedza, które są też łatwiejsze do zmiany.
Model bazowy (foundation model) to duży model AI wstępnie wytrenowany na bardzo obszernych i zróżnicowanych danych, który można następnie wykorzystać do wielu różnych zadań. Pojęcie to wprowadzono na Uniwersytecie Stanforda w 2021 roku. Znane przykłady to duże modele językowe, takie jak Claude czy GPT, a także modele obrazów. Firmy zwykle budują swoje aplikacje na takich modelach, zamiast trenować własne od podstaw; unijny AI Act odnosi się do modeli AI ogólnego przeznaczenia.
Dostrajanie efektywne parametrowo (PEFT) obejmuje techniki, które dopasowują duży, wstępnie wytrenowany model do zadania, trenując tylko niewielką część jego parametrów lub dodając kilka dodatkowych. Znane metody to LoRA, QLoRA, adaptery i prefix tuning. Znacznie zmniejsza to zapotrzebowanie na moc obliczeniową i pamięć, a dla kilku zadań można przechowywać małe moduły dodatkowe zamiast pełnych kopii modelu. Przykład: model językowy zostaje dopasowany do stylu wewnętrznej dokumentacji technicznej.
