Glossário

Afinação eficiente em parâmetros (PEFT)

O que é Afinação eficiente em parâmetros (PEFT)?

A afinação eficiente em parâmetros (PEFT) abrange técnicas que adaptam um grande modelo pré-treinado a uma tarefa treinando apenas uma pequena parte dos seus parâmetros ou acrescentando alguns parâmetros adicionais. Entre os métodos mais conhecidos estão o LoRA, o QLoRA, os adaptadores e o prefix tuning. Isto reduz muito as necessidades de cálculo e de memória, e é possível guardar pequenos módulos adicionais para várias tarefas, em vez de cópias completas do modelo. Exemplo: um modelo de linguagem é adaptado ao estilo de documentos técnicos internos.

Temas

afinação
treino
eficiência

Experimentar o KI.ordo

Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.

Iniciar demonstração

← Todos os termos

Termos relacionados

Fine-tuning

O fine-tuning consiste em continuar a treinar um modelo de IA já pré-treinado com dados adicionais, normalmente específicos de uma tarefa. Os seus pesos internos são ajustados para que o modelo lide de forma mais fiável, por exemplo, com um estilo de escrita, um vocabulário especializado ou um formato de saída particulares. O fine-tuning exige dados de exemplo cuidadosamente preparados, capacidade de cálculo e testes. Para muitas aplicações, instruções bem escritas e conhecimento ligado são suficientes e mais fáceis de alterar.

Treino de modelos
Personalização
+1

Instruction Tuning

O instruction tuning é uma forma de fine-tuning em que um modelo de linguagem pré-treinado é treinado mais com muitos pares de instruções e respostas desejadas. Isto ensina o modelo a seguir tarefas formuladas em linguagem natural, em vez de se limitar a continuar o texto. É um passo fundamental para transformar um modelo base num assistente e é frequentemente combinado com métodos como o RLHF. Exemplo: "Resuma este texto em três frases" é executado de forma fiável.

Fine-tuning
Modelos de linguagem
+1

Transfer Learning

Na aprendizagem por transferência, um modelo que já aprendeu uma grande tarefa geral serve de ponto de partida para uma nova tarefa especializada. Em vez de começar do zero, é adaptado, por exemplo através de afinação, com uma quantidade comparativamente pequena de dados próprios. Isto poupa tempo de cálculo e dados, por exemplo quando um modelo de imagem geral deve aprender a detetar defeitos de produção em fotografias.

Aprendizagem automática
Training
+1

Modelo de base

Um modelo de base (foundation model) é um grande modelo de IA pré-treinado com dados muito extensos e diversificados, que pode depois ser utilizado em muitas tarefas diferentes. O termo foi cunhado na Universidade de Stanford em 2021. Exemplos conhecidos são grandes modelos de linguagem como o Claude ou o GPT, bem como modelos de imagem. As empresas costumam construir as suas aplicações sobre estes modelos em vez de treinarem os seus próprios de raiz; o Regulamento Europeu da IA refere-se a modelos de IA de finalidade geral.

Modelo base
Modelos de linguagem
+1