Słownik pojęć

Instruction Tuning

Czym jest Instruction Tuning?

Instruction tuning to forma dostrajania, w której wstępnie wytrenowany model językowy jest dalej trenowany na wielu parach poleceń i pożądanych odpowiedzi. Uczy to model wykonywania zadań sformułowanych językiem naturalnym, zamiast jedynie kontynuowania tekstu. Jest to kluczowy krok w przekształcaniu modelu bazowego w asystenta i często łączy się go z metodami takimi jak RLHF. Przykład: polecenie „Streść ten tekst w trzech zdaniach” jest wykonywane niezawodnie.

Jak pomaga KI.ordo

KI.ordo nie trenuje modeli; korzysta z modeli Claude firmy Anthropic, które są już wytrenowane jako asystenci, i steruje ich zachowaniem za pomocą instrukcji i wiedzy.

Dowiedz się więcej

Tematy

dostrajanie
modele językowe
Training

Wypróbuj KI.ordo

Agenci, przepływy i szablony w jednym obszarze roboczym – bezpłatne demo na 24 godziny.

Uruchom demo

← Wszystkie pojęcia

Powiązane pojęcia

dostrajanie

Dostrajanie (fine-tuning) oznacza dalsze trenowanie już wstępnie wytrenowanego modelu AI na dodatkowych, zwykle specyficznych dla zadania danych. Jego wewnętrzne wagi są korygowane tak, aby model niezawodniej radził sobie na przykład z określonym stylem pisania, słownictwem fachowym lub formatem wyniku. Dostrajanie wymaga starannie przygotowanych przykładowych danych, mocy obliczeniowej i testów. W wielu zastosowaniach wystarczają dobrze napisane instrukcje i podłączona wiedza, które są też łatwiejsze do zmiany.

trenowanie modeli
Dostosowanie
+1

Uczenie ze wzmocnieniem na podstawie opinii człowieka (RLHF)

RLHF to metoda treningu, dzięki której modele językowe stają się bardziej pomocne i bezpieczniejsze. Ludzie porównują i oceniają kilka odpowiedzi modelu; na podstawie tych ocen trenuje się model nagrody, który następnie dalej trenuje sam model językowy metodą uczenia ze wzmocnieniem. Uczy to go na przykład odpowiadać jaśniej lub odrzucać problematyczne prośby. RLHF odbywa się u dostawcy modelu przed jego wydaniem – nie u poszczególnych użytkowników.

trenowanie
opinie człowieka
+1

Duży model językowy (LLM)

Duży model językowy (LLM) to sieć neuronowa wytrenowana na bardzo dużych ilościach tekstu, dzięki czemu potrafi rozumieć i generować język. Działa, obliczając krok po kroku najbardziej prawdopodobny kolejny token. LLM-y piszą, streszczają, tłumaczą, odpowiadają na pytania i generują kod; znane przykłady to Claude, GPT, Gemini i Llama. Bez dostępu do aktualnych źródeł wiedzą tylko to, co znajdowało się w ich danych treningowych.

modele językowe
generatywna AI
+1

Prompt

Prompt to dane wejściowe, które mówią modelowi AI, co ma zrobić – pytanie, zadanie lub polecenie, często uzupełnione kontekstem, przykładami i pożądanym formatem. Jakość odpowiedzi w dużej mierze zależy od tego, jak jasny i kompletny jest prompt. Na przykład zamiast „Napisz coś o naszym produkcie” lepiej: „Napisz trzy krótkie korzyści z produktu X dla firm rzemieślniczych, rzeczowym tonem”.

prompting
dane wejściowe
+1

Szablon