Glosář

Instruction Tuning

Co je Instruction Tuning?

Ladění na pokyny (instruction tuning) je forma jemného doladění, při níž se předtrénovaný jazykový model dále trénuje na mnoha dvojicích pokynů a požadovaných odpovědí. Model se tak naučí plnit úlohy formulované přirozeným jazykem, místo aby jen pokračoval v textu. Je to klíčový krok při přeměně základního modelu na asistenta a často se kombinuje s metodami, jako je RLHF. Příklad: pokyn „Shrň tento text do tří vět“ se spolehlivě provede.

Jak pomáhá KI.ordo

KI.ordo modely netrénuje; používá modely Claude od Anthropicu, které jsou již natrénované jako asistenti, a jejich chování řídí pomocí pokynů a znalostí.

Zjistit více

Témata

jemné doladění
jazykové modely
Training

Vyzkoušet KI.ordo

Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.

Spustit demo

← Všechny pojmy

Související pojmy

jemné doladění

Jemné doladění (fine-tuning) znamená další trénování již předtrénovaného modelu AI na dodatečných, obvykle úlohově specifických datech. Upravují se jeho vnitřní váhy, aby model spolehlivěji zvládal například určitý styl psaní, odbornou slovní zásobu nebo výstupní formát. Fine-tuning vyžaduje pečlivě připravená vzorová data, výpočetní výkon a testování. Pro mnoho aplikací stačí dobře napsané pokyny a připojené znalosti, které se snáze mění.

trénování modelů
přizpůsobení
+1

Posilované učení z lidské zpětné vazby (RLHF)

RLHF je trénovací metoda, díky níž jsou jazykové modely užitečnější a bezpečnější. Lidé porovnávají a hodnotí několik odpovědí modelu; z těchto úsudků se trénuje model odměn, který pak prostřednictvím posilovaného učení dále trénuje samotný jazykový model. Učí se tak například odpovídat srozumitelněji nebo odmítat problematické požadavky. RLHF probíhá u poskytovatele modelu před jeho vydáním – ne u jednotlivých uživatelů.

trénování
lidská zpětná vazba
+1

Velký jazykový model (LLM)

Velký jazykový model (LLM) je neuronová síť natrénovaná na velmi velkém množství textu, díky čemuž dokáže jazyk chápat a generovat. Funguje tak, že krok za krokem počítá nejpravděpodobnější další token. LLM píší, shrnují, překládají, odpovídají na otázky a generují kód; mezi známé příklady patří Claude, GPT, Gemini a Llama. Bez přístupu k aktuálním zdrojům vědí jen to, co bylo v jejich trénovacích datech.

jazykové modely
generativní AI
+1

Prompt

Prompt (zadání) je vstup, který AI modelu říká, co má dělat – otázka, úkol nebo pokyn, často doplněný kontextem, příklady a požadovaným formátem. Kvalita odpovědi výrazně závisí na tom, jak jasný a úplný prompt je. Například místo „Napiš něco o našem produktu“ použijte „Napiš tři krátké přínosy produktu X pro řemeslné firmy, věcným tónem“.

prompting
vstup
+1

Šablona