Parametricky efektivní dolaďování (PEFT) zahrnuje techniky, které velký předtrénovaný model přizpůsobí úkolu tím, že trénují jen malou část jeho parametrů nebo přidají několik dalších. Známé metody jsou LoRA, QLoRA, adaptéry a prefix tuning. Výrazně to snižuje nároky na výpočetní výkon a paměť a místo úplných kopií modelu lze pro více úkolů uložit malé doplňkové moduly. Příklad: jazykový model se přizpůsobí stylu interní technické dokumentace.
Agenti, postupy a šablony v jednom pracovním prostoru – 24hodinové demo zdarma.
Spustit demoJemné doladění (fine-tuning) znamená další trénování již předtrénovaného modelu AI na dodatečných, obvykle úlohově specifických datech. Upravují se jeho vnitřní váhy, aby model spolehlivěji zvládal například určitý styl psaní, odbornou slovní zásobu nebo výstupní formát. Fine-tuning vyžaduje pečlivě připravená vzorová data, výpočetní výkon a testování. Pro mnoho aplikací stačí dobře napsané pokyny a připojené znalosti, které se snáze mění.
Ladění na pokyny (instruction tuning) je forma jemného doladění, při níž se předtrénovaný jazykový model dále trénuje na mnoha dvojicích pokynů a požadovaných odpovědí. Model se tak naučí plnit úlohy formulované přirozeným jazykem, místo aby jen pokračoval v textu. Je to klíčový krok při přeměně základního modelu na asistenta a často se kombinuje s metodami, jako je RLHF. Příklad: pokyn „Shrň tento text do tří vět“ se spolehlivě provede.
Při transferovém učení slouží jako výchozí bod pro nový, specializovaný model model, který se již naučil rozsáhlý obecný úkol. Místo začínání od nuly se přizpůsobí, například dolaďováním, s použitím poměrně malého množství vlastních dat. Šetří to výpočetní čas i data, například když se obecný obrazový model má naučit odhalovat výrobní vady na fotografiích.
Základní model (foundation model) je velký model AI předtrénovaný na velmi rozsáhlých, širokých datech, který lze poté použít pro mnoho různých úloh. Pojem vznikl v roce 2021 na Stanfordově univerzitě. Známými příklady jsou velké jazykové modely jako Claude nebo GPT, ale i obrazové modely. Firmy na takových modelech obvykle staví své aplikace, místo aby trénovaly vlastní od nuly; akt EU o umělé inteligenci hovoří o modelech AI pro všeobecné účely.
