A X Square Robot, sediada em Shenzhen, demonstrou a capacidade de um robô ágil executar um experimento químico padronizado completo, composto por 24 ações sequenciais, em uma única execução contínua. Este resultado foi alcançado usando uma política treinada exclusivamente com dados coletados sem a participação do próprio robô.
A demonstração baseia-se no sistema TwinDEX, apresentado pela empresa em setembro. Este sistema combina um exoesqueleto vestível para coleta de dados com uma garra robótica de alta precisão para execução de tarefas.
Durante o experimento, o robô realizou várias manipulações complexas: abriu um frasco de reagente, pegou pó com uma espátula fina, apertou uma pipeta com balão de borracha, movimentou líquidos e sólidos, e segurou uma vareta de vidro translúcida perto de um copo para direcionar o processo de despejo, mudando constantemente de ferramentas e coordenando o trabalho de ambos os braços.
A empresa afirma que essa política foi desenvolvida do zero com base em centenas de episódios coletados sem o robô, sem qualquer intervenção ou controle remoto do robô em nenhuma fase.
Desafios resolvidos pelas tecnologias
O recurso tecnológico chinês Leiphone chamou a atenção para as tarefas que não podem ser resolvidas apenas com visão: girar uma tampa requer movimento lateral dos dedos, e não rotação do pulso; apertar uma pipeta exige ajuste de força após o contato; e rastrear uma vareta transparente por câmeras representa uma dificuldade.
O conceito principal é eliminar a discrepância entre como os humanos coletam dados e como os robôs agem. Ambos os dispositivos TwinDEX possuem uma configuração semelhante de três dedos com nove graus de liberdade e sete juntas ativas, além de eixos de junta idênticos, proporções de elos, materiais de contato e sensores táteis localizados nos mesmos pontos, sendo externamente quase indistinguíveis.
Imagens de câmeras multivisão, posturas dos pulsos, estados dos dedos das juntas e sinais de toque das pontas dos dedos são sincronizados no tempo, permitindo correlacionar diretamente os estados dos dedos gravados com o robô sem necessidade de reconfiguração. O Leiphone relata que, para operar com dois braços, o modelo aprende a posição relativa dos braços, e não as coordenadas absolutas, garantindo a manutenção da coordenação independentemente de a mesa ou o operador mudarem.
A X Square declara que, em um benchmark multitarefa, as políticas treinadas com dados sem robô melhoraram na mesma velocidade que aquelas treinadas com dados controlados remotamente, episódio por episódio. A empresa avalia a eficácia da coleta de dados TwinDEX como 5,3 vezes maior do que com controle remoto no robô, medido em cinco tarefas, incluindo torcer uma tampa e usar uma seringa. Como uma unidade de coleta de dados inclui um operador, uma mesa e um exoesqueleto, a coleta de dados pode ser realizada em paralelo em escritórios e cozinhas.
De acordo com o Leiphone, o pipeline de dados funciona usando o modelo aberto WALL-OSS da empresa e pode ser adaptado para outros modelos básicos, como o pi0.5. A empresa também lista limitações: as tarefas estão restritas a uma mesa com um conjunto limitado de objetos, a ergonomia de sessões longas no exoesqueleto ainda não foi investigada, e tarefas mais complexas podem exigir mais dedos ou juntas. Um artigo técnico está em preparação, e a X Square planeja expandir a coleta de dados para ambientes abertos e tarefas de cauda longa.