A escassez de dados ocorre quando existem poucos dados adequados ou etiquetados para treinar ou testar um modelo de forma fiável numa tarefa de IA. Afeta, por exemplo, tipos de defeitos raros na produção, idiomas de nicho ou produtos novos sem histórico de vendas. Entre as soluções contam-se a aprendizagem por transferência, os dados sintéticos, o aumento de dados ou modelos de linguagem pré-treinados que fornecem resultados úteis com poucos exemplos.
Agentes, fluxos e modelos num só espaço de trabalho – demonstração gratuita de 24 horas.
Iniciar demonstraçãoOs dados sintéticos são gerados artificialmente, e não recolhidos no mundo real, mas imitam os padrões e as propriedades dos dados reais. Ajudam quando os dados genuínos são escassos, caros ou sensíveis do ponto de vista da proteção de dados – por exemplo, para testar software, treinar modelos ou verificar um chatbot com consultas de exemplo realistas. É importante que reflitam a realidade com suficiente proximidade e não permitam tirar conclusões sobre pessoas reais.
Na aprendizagem por transferência, um modelo que já aprendeu uma grande tarefa geral serve de ponto de partida para uma nova tarefa especializada. Em vez de começar do zero, é adaptado, por exemplo através de afinação, com uma quantidade comparativamente pequena de dados próprios. Isto poupa tempo de cálculo e dados, por exemplo quando um modelo de imagem geral deve aprender a detetar defeitos de produção em fotografias.
O few-shot learning é a capacidade de um modelo resolver uma tarefa a partir de apenas um punhado de exemplos. Nos modelos de linguagem, isto acontece normalmente diretamente na entrada: mostram-se dois ou três pares de pergunta e resposta pretendida, e o modelo aplica o mesmo formato e estilo a novos casos – sem novo treino. Exemplo: três pedidos de clientes corretamente categorizados são muitas vezes suficientes para que os pedidos seguintes sejam ordenados da mesma forma.
Os dados de treino são os exemplos a partir dos quais um modelo de IA aprende padrões: grandes coleções de texto para modelos de linguagem, imagens etiquetadas para modelos de imagem. A sua qualidade, diversidade e atualidade determinam em grande medida a fiabilidade e a equidade de um modelo e o quão atualizado será o seu conhecimento. Para as organizações, também importa saber se um fornecedor utiliza os dados dos clientes que lhe são fornecidos para treino adicional.
