Модель пространственного восприятия LingBot-Depth 2.0 от Ant Group продемонстрировала 12 результатов, признанных мировыми первыми. Основа этой системы, модель LingBot-Vision с 1,1 миллиарда параметров, превзошла модель 7B DINOv3 от Meta.
Новый подход к компьютерному зрению
LingBot (蚂蚁灵波) представила LingBot-Depth 2.0, которая является моделью пространственного восприятия, достигшей 12 мировых рекордов на публичных и частных наборах данных. Технология, лежащая в основе — модель LingBot-Vision, представляет собой первую в мире пространственно-нативную модель фундаментального зрения, разработанную специально для воплощенного ИИ, и была выпущена с открытым исходным кодом.
LingBot-Vision знаменует собой смену парадигмы по сравнению с традиционными моделями фундаментального компьютерного зрения. Старые модели, такие как DINOv3, обучаются на изображениях из интернета, выступая в роли «зрителей веба», которые могут распознавать объекты, но не способны воспринимать их точные трехмерные границы и пространственные структуры. LingBot-Vision же обучается с нуля с учетом потребностей первого лица в пространственном восприятии и взаимодействии, интегрируя геометрическое понимание пространства как основную способность с самого начала.
Производительность и преимущества
При использовании приблизительно 1,1 миллиарда параметров (что составляет примерно одну седьмую от 7 миллиардов параметров DINOv3) и меньшего объема обучающих выборок, чем у DINOv3 (менее одной трети), LingBot-Vision демонстрирует более высокую точность и всесторонне превосходит 7B DINOv3 на бенчмарке оценки глубины NYUv2. Модель напрямую устраняет три критических недостатка традиционной оценки глубины: размытие границ объектов, обнаружение мелких объектов и помехи дальнего расстояния.
LingBot-Depth 2.0 показывает исключительные результаты в сложных задачах восприятия. Она обеспечивает крайнюю четкость границ для сохранения целостности контура объекта, что позволяет планировать траекторию роботизированной руки с точностью до миллиметра. Модель значительно улучшает обнаружение тонких предметов, таких как провода, кабели и металлические соединения. Для быстродвижущихся роботов модель эффективно фильтрует высокочастотный шум на больших расстояниях, обеспечивая надежные данные о глубине для удаленных препятствий. Наиболее впечатляющим является то, что она поддерживает гладкие и полные карты глубины даже в трудных условиях, включая отражающие поверхности, прозрачные объекты, сильную темноту и сильно загроможденные окклюдированные среды.
Коммерческое внедрение и доступность
Модель уже начала коммерческое использование благодаря партнерству с ORBBEC, мировым лидером в области оборудования 3D-зрения. LingBot-Depth 2.0 прошла строгую сертификацию промышленного уровня в Лаборатории глубинного зрения ORBBEC, продемонстрировав выдающуюся точность и способность работать с различными материалами. Сотрудничество привело к трем конкретным результатам: созданию нового устройства для сбора данных EGO-RGBD с встроенной аннотацией качества глубины, полной интеграции SDK, позволяющей пользователям оборудования ORBBEC получать пространственное восприятие в один клик, и предстоящей интегрированной камеры, которая выдает чистые потоки 3D-видения без сложной настройки алгоритмов.
Ant Group сделала модель LingBot-Vision общедоступной на платформах Hugging Face и ModelScope, а код доступен на GitHub. Технический отчет по работе опубликован на arXiv.