Glosar

Învățarea prin întărire pe baza feedbackului uman (RLHF)

Ce este Învățarea prin întărire pe baza feedbackului uman (RLHF)?

RLHF este o metodă de antrenare care face modelele lingvistice mai utile și mai sigure. Oamenii compară și evaluează mai multe răspunsuri ale modelului; aceste judecăți sunt folosite pentru a antrena un model de recompensă, care antrenează apoi, prin învățare prin întărire, chiar modelul lingvistic. Acesta învață astfel, de exemplu, să răspundă mai clar sau să refuze solicitările problematice. RLHF are loc la furnizorul modelului, înainte ca un model să fie lansat – nu la utilizatorii individuali.

Cum ajută KI.ordo

Evaluările 👍/👎 din KI.ordo nu reantrenează modelul; ele arată unde trebuie îmbunătățite cunoștințele sau instrucțiunile unui agent.

Aflați mai multe

Subiecte

antrenare
feedback uman
modele lingvistice

Încercați KI.ordo

Agenți, fluxuri și șabloane într-un singur spațiu de lucru – demo gratuit de 24 de ore.

Porniți demo-ul

← Toți termenii

Termeni înrudiți

Învățarea prin întărire (RL)

Învățarea prin întărire este o ramură a învățării automate în care un agent învață prin încercare și eroare. Acționează într-un mediu, primește recompense pentru rezultate bune și penalizări pentru cele rele și își dezvoltă astfel o strategie care maximizează recompensa totală. Exemple cunoscute sunt programele care stăpânesc jocuri de societate precum Go, controlul roboților și reglajul fin al modelelor lingvistice pe baza evaluărilor umane.

metodă de învățare
recompensă
+1

Instruction Tuning

Instruction tuning este o formă de fine-tuning în care un model lingvistic pre-antrenat este antrenat în continuare pe multe perechi de instrucțiuni și răspunsuri dorite. Aceasta îl învață pe model să urmeze sarcini formulate în limbaj natural, nu doar să continue textul. Este un pas esențial în transformarea unui model de bază într-un asistent și este adesea combinat cu metode precum RLHF. Exemplu: „Rezumă acest text în trei propoziții” este executat fiabil.

fine-tuning
modele lingvistice
+1

IA constituțională (Constitutional AI)

Constitutional AI este o metodă de antrenare a modelelor lingvistice publicată de Anthropic în 2022; nu are legătură cu dreptul constituțional. Se bazează pe un set scris de principii, „constituția”: modelul își critică și își revizuiește propriile răspunsuri în raport cu aceste principii, apoi o IA compară perechi de răspunsuri, iar acest feedback servește drept semnal de recompensă pentru învățarea prin întărire (RLAIF). Aceasta reduce nevoia de etichetare umană a conținutului dăunător; în ianuarie 2026, Anthropic a publicat o constituție revizuită pentru Claude.

Training
siguranța IA
+1

fine-tuning

Fine-tuning înseamnă continuarea antrenării unui model IA deja pre-antrenat cu date suplimentare, de obicei specifice unei sarcini. Ponderile sale interne sunt ajustate astfel încât modelul să gestioneze mai fiabil, de exemplu, un anumit stil de scriere, un vocabular de specialitate sau un format de ieșire. Fine-tuning-ul necesită date de exemplu pregătite cu grijă, putere de calcul și testare. Pentru multe aplicații, instrucțiunile bine scrise și cunoștințele conectate sunt suficiente și mai ușor de modificat.

antrenarea modelelor
personalizare
+1