O Q-learning é um método fundamental de aprendizagem por reforço. Um agente aprende por tentativa e erro que valor a longo prazo (o «valor Q») tem uma determinada ação numa determinada situação e, com o tempo, escolhe as ações mais promissoras. Para isso, não precisa de um modelo do seu ambiente. Combinado com redes neuronais (deep Q-learning), um sistema da DeepMind utilizou esta abordagem para aprender a jogar muitos videojogos da Atari apenas a partir dos píxeis do ecrã.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoA aprendizagem por reforço é um ramo da aprendizagem automática em que um agente aprende por tentativa e erro. Atua num ambiente, recebe recompensas por bons resultados e penalizações por maus resultados e, desta forma, desenvolve uma estratégia que maximiza a recompensa total. Entre os exemplos conhecidos contam-se programas que dominam jogos de tabuleiro como o Go, o controlo de robôs e a afinação de modelos de linguagem com base em avaliações humanas.
O RLHF é um método de treino que torna os modelos de linguagem mais úteis e mais seguros. Pessoas comparam e avaliam várias respostas do modelo; estas avaliações são usadas para treinar um modelo de recompensa, que depois treina o próprio modelo de linguagem através de aprendizagem por reforço. Assim, o modelo aprende, por exemplo, a responder com mais clareza ou a recusar pedidos problemáticos. O RLHF ocorre no fornecedor do modelo, antes de este ser lançado – não junto de utilizadores individuais.
Os métodos de Monte Carlo são técnicas de cálculo que utilizam um número muito elevado de amostras aleatórias para aproximar resultados difíceis de calcular analiticamente. Um sistema é simulado milhares de vezes com pressupostos variados de forma aleatória, e a distribuição dos resultados é analisada. As organizações utilizam-nos na análise de risco, no planeamento de projetos ou na avaliação de carteiras. Em IA, estes métodos são usados, entre outras áreas, na aprendizagem por reforço e na pesquisa em árvore para jogos.
As redes neuronais artificiais (RNA) são modelos computacionais compostos por muitas unidades ligadas ("neurónios") dispostas em camadas, que processam entradas através de ligações ponderadas. Durante o treino, os pesos são ajustados passo a passo com exemplos, normalmente por retropropagação. As RNA são a base do deep learning e alimentam o reconhecimento de imagem, o reconhecimento de voz e os grandes modelos de linguagem. Apesar da inspiração biológica, funcionam de forma muito mais simples do que o cérebro humano.
