Slovník pojmov

Instruction Tuning

Čo je Instruction Tuning?

Ladenie podľa pokynov (instruction tuning) je forma dolaďovania, pri ktorej sa vopred natrénovaný jazykový model ďalej trénuje na mnohých dvojiciach pokynov a požadovaných odpovedí. Model sa tak naučí plniť úlohy formulované v prirodzenom jazyku, a nielen pokračovať v texte. Je to kľúčový krok pri premene základného modelu na asistenta a často sa kombinuje s metódami, ako je RLHF. Príklad: pokyn „Zhrň tento text do troch viet“ sa vykoná spoľahlivo.

Ako pomáha KI.ordo

KI.ordo modely netrénuje; používa modely Claude od spoločnosti Anthropic, ktoré sú už natrénované ako asistenti, a ich správanie riadi pomocou pokynov a znalostí.

Zistiť viac

Témy

dolaďovanie
jazykové modely
Training

Vyskúšajte KI.ordo

Agenti, postupy a šablóny v jednom pracovnom priestore – bezplatné 24-hodinové demo.

Spustiť demo

← Všetky pojmy

Súvisiace pojmy

dolaďovanie

Dolaďovanie (fine-tuning) znamená ďalšie trénovanie už vopred natrénovaného modelu AI na dodatočných, zvyčajne úlohovo špecifických údajoch. Jeho vnútorné váhy sa upravia tak, aby model spoľahlivejšie zvládal napríklad určitý štýl písania, odbornú slovnú zásobu alebo výstupný formát. Dolaďovanie vyžaduje starostlivo pripravené príkladové údaje, výpočtový výkon a testovanie. Pre mnohé aplikácie stačia dobre napísané pokyny a pripojené znalosti, ktoré sa dajú ľahšie meniť.

trénovanie modelov
Prispôsobenie
+1

Posilňované učenie z ľudskej spätnej väzby (RLHF)

RLHF je trénovacia metóda, vďaka ktorej sú jazykové modely užitočnejšie a bezpečnejšie. Ľudia porovnávajú a hodnotia viaceré odpovede modelu; z týchto posudkov sa trénuje model odmien, ktorý potom prostredníctvom posilňovaného učenia ďalej trénuje samotný jazykový model. Učí ho to napríklad odpovedať jasnejšie alebo odmietať problematické požiadavky. RLHF prebieha u poskytovateľa modelu pred jeho vydaním – nie u jednotlivých používateľov.

trénovanie
ľudská spätná väzba
+1

Veľký jazykový model (LLM)

Veľký jazykový model (LLM, large language model) je neurónová sieť natrénovaná na veľmi veľkom množstve textu, vďaka čomu rozumie jazyku a dokáže ho tvoriť. Funguje tak, že krok za krokom vypočítava najpravdepodobnejší nasledujúci token. LLM píšu, zhŕňajú, prekladajú, odpovedajú na otázky a generujú kód; známymi príkladmi sú Claude, GPT, Gemini a Llama. Bez prístupu k aktuálnym zdrojom vedia len to, čo bolo v ich trénovacích údajoch.

jazykové modely
generatívna AI
+1

Prompt

Prompt je vstup, ktorý modelu AI hovorí, čo má robiť – otázka, úloha alebo pokyn, často doplnené o kontext, príklady a požadovaný formát. Kvalita odpovede výrazne závisí od toho, aký jasný a úplný prompt je. Napríklad namiesto „Napíš niečo o našom produkte“ použite „Napíš tri krátke výhody produktu X pre remeselnícke firmy vo vecnom tóne“.

prompting
vstup
+1

Šablóna