A aprendizagem por reforço é um ramo da aprendizagem automática em que um agente aprende por tentativa e erro. Atua num ambiente, recebe recompensas por bons resultados e penalizações por maus resultados e, desta forma, desenvolve uma estratégia que maximiza a recompensa total. Entre os exemplos conhecidos contam-se programas que dominam jogos de tabuleiro como o Go, o controlo de robôs e a afinação de modelos de linguagem com base em avaliações humanas.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoO Q-learning é um método fundamental de aprendizagem por reforço. Um agente aprende por tentativa e erro que valor a longo prazo (o «valor Q») tem uma determinada ação numa determinada situação e, com o tempo, escolhe as ações mais promissoras. Para isso, não precisa de um modelo do seu ambiente. Combinado com redes neuronais (deep Q-learning), um sistema da DeepMind utilizou esta abordagem para aprender a jogar muitos videojogos da Atari apenas a partir dos píxeis do ecrã.
O RLHF é um método de treino que torna os modelos de linguagem mais úteis e mais seguros. Pessoas comparam e avaliam várias respostas do modelo; estas avaliações são usadas para treinar um modelo de recompensa, que depois treina o próprio modelo de linguagem através de aprendizagem por reforço. Assim, o modelo aprende, por exemplo, a responder com mais clareza ou a recusar pedidos problemáticos. O RLHF ocorre no fornecedor do modelo, antes de este ser lançado – não junto de utilizadores individuais.
Na aprendizagem supervisionada, um modelo aprende com exemplos cuja resposta correta já é conhecida, como e-mails etiquetados como «spam» ou «não spam». A partir deles, deduz regras para classificar casos novos e desconhecidos ou para prever valores. As tarefas típicas são a classificação e a regressão; a maior parte do esforço vai para a criação de dados corretamente etiquetados.
Na aprendizagem não supervisionada, um modelo recebe dados sem respostas corretas predefinidas e procura estruturas por conta própria. Os métodos típicos são o clustering, que agrupa registos semelhantes, e a redução de dimensionalidade, que condensa muitas características em algumas essenciais. As organizações utilizam-na para descobrir segmentos de clientes ou detetar transações invulgares; os grupos encontrados têm depois de ser interpretados por especialistas da área.
