Pesquisadores da Universidade Tsinghua, Infinigence AI e AgiBot apresentaram uma abordagem de aprendizado chamada Aprendizagem de Experiência Coletiva (Collective Experience Learning, ou CEL). Este método permite que os robôs aprendam com os sucessos de outros robôs, em vez de depender predominantemente de demonstrações humanas.
De acordo com um comunicado publicado pela QbitAI em 30 de outubro, a equipe testou este método em um cluster de 96 robôs reais. O artigo científico correspondente está disponível no arXiv sob o número 2610.25736.
O problema original que os pesquisadores estão resolvendo está relacionado aos recursos de trabalho. Os robôs melhoram acumulando experiência prática, mas hoje isso é frequentemente alcançado através da repetição múltipla de movimentos por humanos ou intervenção do operador para corrigir erros. Embora centenas de robôs possam ser implantados, operadores qualificados não podem ser escalados na mesma velocidade.
Ao usar o CEL, a experiência bem-sucedida obtida por um robô é preservada e compartilhada, permitindo que um robô enfrentado a uma tarefa aprenda como seus colegas resolveram situações semelhantes.
Testes de Tarefas e Resultados
A equipe testou cinco tarefas diferentes, abrangendo tanto trabalhos domésticos quanto industriais: separar cores, dobrar roupas, carregar telefones, montar um banquinho e embalar telefones. Dois robôs que não participaram do treinamento realizaram 600 testes, cometendo 15 falhas, o que resultou em uma taxa geral de sucesso de 97,5%. A taxa de sucesso em todas as cinco tarefas excedeu a média de seis operadores humanos.
Em particular, no empacotamento de telefones, que é uma tarefa industrial multifásica, a taxa de sucesso aumentou de 79,2% para 98,3% após a aplicação do aprendizado coletivo, com apenas dois falhas registradas em 120 tentativas consecutivas.
Também foi observada uma tendência de escalabilidade: mantendo o mesmo volume de tempo real de treinamento, o aumento no número de robôs participantes de 16 para 96 elevou o sucesso de 86,7% para 98,3%.
Componentes Técnicos do Sistema
O funcionamento deste sistema é garantido por dois elementos chave. O primeiro é um sistema de aprendizado assíncrono tolerante a falhas chamado FATS. Este sistema é construído sobre a plataforma de aprendizado por reforço em larga escala RLinf. Os robôs carregam sua experiência imediatamente após a conclusão da tarefa, sem esperar pelos outros, e o cluster continua funcionando mesmo se os dispositivos forem desligados.
Durante o teste com 96 robôs, o cluster coletou 9.834 episódios. Vinte e dois robôs tiveram um total de 30 falhas, mas a perda de tempo dos robôs foi de apenas 1,3% do tempo total de operação.
O segundo componente é um algoritmo chamado ajuste fino de recuperação de experiência guiado por falhas (failure-guided experience retrieval fine-tuning, ou FERT). Uma manipulação pode durar minutos e incluir milhares de passos de ação, mas o feedback muitas vezes se resume apenas ao sucesso ou fracasso final. O FERT utiliza ambos esses aspectos: quando um robô encontra dificuldades, ele recupera experiências bem-sucedidas de situações semelhantes e foca o aprendizado especificamente nesses exemplos.
O comunicado foi fornecido pela Infinigence AI. Os resultados são apresentados pelo grupo de pesquisa e ainda não passaram por verificação independente.