Glossario

Reinforcement Learning from Human Feedback (RLHF)

Che cos’è Reinforcement Learning from Human Feedback (RLHF)?

L'RLHF è un metodo di addestramento che rende i modelli linguistici più utili e sicuri. Alcune persone confrontano e valutano più risposte del modello; da questi giudizi si addestra un modello di ricompensa, che poi riaddestra il modello linguistico tramite apprendimento per rinforzo. Così il modello impara, ad esempio, a rispondere in modo più chiaro o a rifiutare richieste problematiche. L'RLHF avviene presso il fornitore del modello prima del rilascio, non presso i singoli utenti.

Come aiuta KI.ordo

Le valutazioni 👍/👎 in KI.ordo non riaddestrano il modello, ma mostrano dove migliorare le conoscenze o le istruzioni di un agente.

Scopri di più →

Temi

addestramento
feedback umano
modelli linguistici

Prova KI.ordo

Agenti, flussi e modelli in un’unica area di lavoro – demo gratuita di 24 ore.

Avvia demo

← Tutti i termini

Termini correlati

Apprendimento per rinforzo (RL)

L'apprendimento per rinforzo (reinforcement learning) è un ramo dell'apprendimento automatico in cui un agente impara per tentativi ed errori. Agisce in un ambiente, riceve ricompense per i buoni risultati e penalità per quelli cattivi, e sviluppa così una strategia che massimizza il beneficio complessivo. Esempi noti sono i programmi che padroneggiano giochi da tavolo come il Go, il controllo di robot e l'affinamento dei modelli linguistici sulla base di valutazioni umane.

metodo di apprendimento
ricompensa
+1

Instruction tuning

L'instruction tuning è una forma di fine-tuning in cui un modello linguistico preaddestrato viene ulteriormente addestrato su molte coppie di istruzione e risposta desiderata. Così il modello impara a eseguire compiti formulati in linguaggio naturale invece di limitarsi a proseguire un testo. È un passaggio chiave per trasformare un modello di base in un assistente ed è spesso combinato con metodi come l'RLHF. Esempio: «Riassumi questo testo in tre frasi» viene eseguito in modo affidabile.

Fine-tuning
Modelli linguistici
+1

IA costituzionale

L'IA costituzionale (Constitutional AI) è un metodo di addestramento per modelli linguistici pubblicato da Anthropic nel 2022, non un concetto di diritto costituzionale. Si basa su un elenco scritto di principi, la «costituzione»: il modello critica e rivede le proprie risposte secondo questi principi, poi un'IA confronta coppie di risposte e questi giudizi fungono da segnale di ricompensa nel reinforcement learning (RLAIF). Si riduce così la necessità di valutazioni umane di contenuti dannosi; a gennaio 2026 Anthropic ha pubblicato una costituzione rivista per Claude.

Addestramento
Sicurezza dell'IA
+1

Fine-tuning (affinamento)

Il fine-tuning consiste nell’addestrare ulteriormente un modello di IA già preaddestrato con dati aggiuntivi, di solito specifici per un compito. Si modificano i pesi interni affinché il modello gestisca in modo più affidabile, ad esempio, uno stile di scrittura, un lessico specialistico o un formato di output. Richiede dati di esempio ben preparati, potenza di calcolo e test. Per molte applicazioni bastano istruzioni ben scritte e conoscenze collegate, più facili da modificare.

Addestramento
Personalizzazione
+1