A unidade robotaxi da Hello Inc. apresentou o HelloWorld, um modelo de mundo generativo para direção. Este modelo destina-se à criação de dados de condução sob demanda e ao teste interativo de políticas de condução de veículos.
A equipe anunciou o modelo em 12 de outubro e publicou o trabalho científico correspondente no arXiv, bem como uma página do projeto. O HelloWorld combina controle de cenas, geração contínua, observação multissensorial e saída de dados eficiente.
Os engenheiros podem editar diretamente veículos, pedestres e suas trajetórias, após o que o modelo gera vídeos correspondentes de múltiplas câmeras juntamente com dados de lidar. Exemplos dessas alterações incluem adicionar um pedestre atravessando a rua, mudar a rota de um veículo à frente ou alterar as condições climáticas — por exemplo, passar de chuva para neve, ou de dia para noite.
O modelo também aceita descrições de situações em linguagem simples como segundo método de construção de cenas. O usuário descreve a situação desejada, e um pipeline de aplicações especial transforma essa descrição nas condições necessárias para o funcionamento do modelo. Elementos como canteiros de obras, tráfego intenso, pedestres atravessando a rua, neblina e diferentes iluminações podem ser usados para direcionar o processo de geração.
O objetivo principal do desenvolvimento é preencher lacunas nos dados coletados no mundo real. Situações de cauda longa, como perigos raros ou combinações incomuns de clima e movimento, são difíceis de coletar em quantidade suficiente apenas através da coleta de dados rodoviários. A capacidade de gerar tais cenários sob demanda permite que os desenvolvedores criem dados de treinamento direcionados e realizem testes contrafactuais: reproduzir o mesmo momento alterando um elemento para avaliar a reação da política de direção.
De acordo com o trabalho científico apresentado, o HelloWorld contém cerca de 2 bilhões de parâmetros, gera visualizações para sete câmeras com saída condicional de lidar e utiliza geração causal de múltiplos passos. Essa arquitetura visa garantir velocidade de saída suficiente para simulação interativa múltipla, e não apenas para geração de clipes individuais.
Modelos de mundo tornaram-se uma ferramenta comum na área de direção autônoma e inteligência artificial incorporada, onde equipes os utilizam para reduzir os custos de coleta e rotulagem de casos de borda. O HelloWorld é a primeira publicação de pesquisa pública desse tipo pela equipe de robotaxi desta empresa. No entanto, a empresa ainda não informou quando ou como o modelo será integrado aos programas de teste de seus veículos.
