Подразделение роботакси компании Hello Inc. представило HelloWorld — генеративную модель мира для вождения. Эта модель предназначена для создания данных о вождении по требованию и интерактивного тестирования политик управления автомобилем.
Команда объявила о модели 12 октября и опубликовала соответствующую научную работу на arXiv, а также страницу проекта. HelloWorld объединяет в себе управление сценами, непрерывную генерацию, наблюдение с мультисенсоров и эффективный вывод данных.
Инженеры могут напрямую редактировать транспортные средства, пешеходов и их траектории, после чего модель генерирует соответствующие видео с нескольких камер вместе с данными лидара. Примеры таких изменений включают добавление пешехода, пересекающего дорогу, изменение маршрута впереди идущего автомобиля или смена погодных условий — например, переход от дождя к снегу, или от дня к ночи.
Модель также принимает описания ситуации на простом языке как второй способ построения сцен. Пользователь описывает желаемую ситуацию, и специальный конвейер приложений преобразует это описание в условия, необходимые для работы модели. Такие элементы, как строительные площадки, плотный трафик, пешеходы, пересекающие дорогу, туман и различные освещения, могут использоваться для направления процесса генерации.
Основная цель разработки — восполнить пробелы в данных, собранных в реальном мире. Ситуации с длинным хвостом, такие как редкие опасности или необычные сочетания погоды и движения, сложно собрать в достаточном количестве только путем сбора данных с дорог. Возможность генерировать такие сценарии по запросу позволяет разработчикам создавать целенаправленные обучающие данные и проводить контрфактические тесты: воспроизведение одного и того же момента с изменением одного элемента для оценки реакции политики вождения.
Согласно представленной научной работе, HelloWorld содержит около 2 миллиардов параметров, генерирует виды для семи камер с условным выводом лидара и использует причинно-следственную генерацию на несколько шагов. Такая архитектура призвана обеспечить достаточную скорость вывода для многократного интерактивного моделирования, а не только для генерации отдельных клипов.
Модели мира стали распространенным инструментом в области автономного вождения и воплощенного искусственного интеллекта, где команды используют их для снижения затрат на сбор и маркировку пограничных случаев. HelloWorld является первой публичной исследовательской публикацией такого рода от команды роботакси этой компании. Однако компания пока не сообщила, когда или каким образом модель будет интегрирована в программы тестирования ее транспортных средств.