Pojmovnik

Instruction Tuning

Što je Instruction Tuning?

Podešavanje prema uputama (instruction tuning) oblik je finog podešavanja u kojem se unaprijed treniran jezični model dalje trenira na mnogo parova uputa i željenih odgovora. Time model uči izvršavati zadatke formulirane prirodnim jezikom, a ne samo nastavljati tekst. To je ključni korak u pretvaranju osnovnog modela u asistenta i često se kombinira s metodama poput RLHF-a. Primjer: „Sažmi ovaj tekst u tri rečenice” izvršava se pouzdano.

Kako KI.ordo pomaže

KI.ordo ne trenira modele; koristi Anthropicove modele Claude, koji su već trenirani kao asistenti, i usmjerava njihovo ponašanje uputama i znanjem.

Saznajte više

Teme

Fino podešavanje
Jezični modeli
Training

Isprobajte KI.ordo

Agenti, tijekovi rada i predlošci u jednom radnom prostoru – besplatna demo verzija na 24 sata.

Pokrenite demo

← Svi pojmovi

Srodni pojmovi

Fino podešavanje

Fino podešavanje (fine-tuning) znači daljnje treniranje već unaprijed treniranog UI modela na dodatnim, obično zadatku prilagođenim podacima. Njegove unutarnje težine prilagođavaju se tako da model pouzdanije obrađuje, primjerice, određeni stil pisanja, stručni rječnik ili izlazni format. Fino podešavanje zahtijeva pažljivo pripremljene primjere podataka, računalnu snagu i testiranje. Za mnoge primjene dovoljne su dobro napisane upute i povezano znanje, koje je ujedno lakše mijenjati.

Treniranje modela
Prilagodba
+1

Učenje podrškom na temelju ljudskih povratnih informacija (RLHF)

RLHF je metoda treniranja koja jezične modele čini korisnijima i sigurnijima. Ljudi uspoređuju i ocjenjuju više odgovora modela; te se prosudbe koriste za treniranje modela nagrađivanja, koji zatim putem učenja podrškom dalje trenira sam jezični model. Tako se, primjerice, uči jasnije odgovarati ili odbijati problematične zahtjeve. RLHF se provodi kod pružatelja modela prije izlaska modela – ne kod pojedinačnih korisnika.

treniranje
ljudske povratne informacije
+1

Veliki jezični model (LLM)

Veliki jezični model (LLM) neuronska je mreža trenirana na vrlo velikim količinama teksta, zahvaljujući čemu može razumjeti i generirati jezik. Radi tako da korak po korak izračunava najvjerojatniji sljedeći token. LLM-ovi pišu, sažimaju, prevode, odgovaraju na pitanja i generiraju kod; poznati primjeri su Claude, GPT, Gemini i Llama. Bez pristupa aktualnim izvorima znaju samo ono što je bilo u njihovim podacima za treniranje.

Jezični modeli
Generativna UI
+1

Prompt

Upit (prompt) je ulaz kojim se UI modelu govori što treba učiniti – pitanje, zadatak ili uputa, često dopunjeni kontekstom, primjerima i željenim formatom. Kvaliteta odgovora uvelike ovisi o tome koliko je upit jasan i potpun. Primjerice, umjesto „Napiši nešto o našem proizvodu“ bolje je „Napiši tri kratke prednosti proizvoda X za obrtničke tvrtke, u stručnom tonu“.

izrada upita
ulaz
+1

Predložak