Glossário

Aprendizagem por reforço a partir de feedback humano (RLHF)

O que é Aprendizagem por reforço a partir de feedback humano (RLHF)?

O RLHF é um método de treino que torna os modelos de linguagem mais úteis e mais seguros. Pessoas comparam e avaliam várias respostas do modelo; estas avaliações são usadas para treinar um modelo de recompensa, que depois treina o próprio modelo de linguagem através de aprendizagem por reforço. Assim, o modelo aprende, por exemplo, a responder com mais clareza ou a recusar pedidos problemáticos. O RLHF ocorre no fornecedor do modelo, antes de este ser lançado – não junto de utilizadores individuais.

Como o KI.ordo ajuda

As avaliações 👍/👎 no KI.ordo não voltam a treinar o modelo; mostram onde o conhecimento ou as instruções de um agente devem ser melhorados.

Saber mais

Temas

treino
feedback humano
modelos de linguagem

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Aprendizagem por reforço (RL)

A aprendizagem por reforço é um ramo da aprendizagem automática em que um agente aprende por tentativa e erro. Atua num ambiente, recebe recompensas por bons resultados e penalizações por maus resultados e, desta forma, desenvolve uma estratégia que maximiza a recompensa total. Entre os exemplos conhecidos contam-se programas que dominam jogos de tabuleiro como o Go, o controlo de robôs e a afinação de modelos de linguagem com base em avaliações humanas.

método de aprendizagem
recompensa
+1

Instruction Tuning

O instruction tuning é uma forma de fine-tuning em que um modelo de linguagem pré-treinado é treinado mais com muitos pares de instruções e respostas desejadas. Isto ensina o modelo a seguir tarefas formuladas em linguagem natural, em vez de se limitar a continuar o texto. É um passo fundamental para transformar um modelo base num assistente e é frequentemente combinado com métodos como o RLHF. Exemplo: "Resuma este texto em três frases" é executado de forma fiável.

Fine-tuning
Modelos de linguagem
+1

IA constitucional

A IA constitucional é um método de treino para modelos de linguagem publicado pela Anthropic em 2022; nada tem que ver com direito constitucional. Baseia-se num conjunto escrito de princípios, a "constituição": o modelo critica e revê as suas próprias respostas com base nesses princípios, depois uma IA compara pares de respostas, e este feedback serve de sinal de recompensa para a aprendizagem por reforço (RLAIF). Isto reduz a necessidade de etiquetagem humana de conteúdos nocivos; em janeiro de 2026, a Anthropic publicou uma constituição revista para o Claude.

Training
Segurança da IA
+1

Fine-tuning

O fine-tuning consiste em continuar a treinar um modelo de IA já pré-treinado com dados adicionais, normalmente específicos de uma tarefa. Os seus pesos internos são ajustados para que o modelo lide de forma mais fiável, por exemplo, com um estilo de escrita, um vocabulário especializado ou um formato de saída particulares. O fine-tuning exige dados de exemplo cuidadosamente preparados, capacidade de cálculo e testes. Para muitas aplicações, instruções bem escritas e conhecimento ligado são suficientes e mais fáceis de alterar.

Treino de modelos
Personalização
+1