Meituan выпустила LongCat-2.5, мультимодель с 1,6 триллиона параметров для кодирования агентов с длинным горизонтом

Компания Dawa Technology, базирующаяся в Чунчине и возникшая из сферы виртуального кинопроизводства, представила Scenes AI — модель мира в реальном времени. Эта система способна преобразовывать видео, снятое обычной камерой, в редактируемый и постоянный мир.

Продукт получил награду за превосходство на промежуточном мероприятии стартапов NVIDIA в Сучжоу 15 октября. Среди более чем 580 участников этого этапа приняли участие тридцать членов NVIDIA Inception.

Большинство видеомоделей сосредоточены на прогнозировании следующего кадра. Однако Scenes AI поддерживает непрерывное состояние мира. Такие элементы, как сцена, люди, камера, освещение, объекты и физика, хранятся как отдельные переменные, которые могут быть прочитаны и изменены независимо. При изменении происходит обновление только соответствующей части состояния, а не полное перерисовывание изображения.

В демонстрациях Dawa показала, как комната трансформируется в луг, нарисованный от руки, в то время как стул, плюшевый медведь и шкаф сохраняют свои позиции. Надписи на стене остаются на месте, а люди появляются и исчезают, а погода меняется от снега до дождя.

Система включает сложный управляющий слой и легкий генеративный слой. Управляющий слой, построенный вокруг модуля Latent Stage, разделяет сцену, персонажа, камеру, освещение, костюм и реквизит в латентном пространстве, применяя физические ограничения для твердых тел, ткани, жидкостей и частиц. Рендеринг-слой, LiveStage, использует причинно-следственную разреженную диффузию для выборки только изменяющихся областей.

Модель имеет в общей сложности 34 миллиарда параметров, но активирует около 4 миллиардов на каждом шаге, что составляет примерно 11,8 процента. Dawa утверждает, что это снижает использование GPU на 40–60 процентов и ускоряет вывод в три-пять раз по сравнению с традиционной видеодиффузией.

На одной потребительской карте NVIDIA GeForce RTX система достигает вывода в реальном времени при разрешении 720p и частоте 25 кадров в секунду. В тестах непрерывного редактирования компания сообщает о 98,2 процентном успехе целевого редактирования и 93,3 процентном сохранении идентичности людей. Система использует CUDA, TensorRT и NVENC и функционирует на локальном оборудовании без облачных вычислений.

Dawa заявляет, что ее данные получены из студийного пространства площадью 84 000 квадратных метров, более 300 реальных производств и 180 ТБ данных о состоянии мира. Главный директор по продукту компании, Ли Цзонгсинь, резюмировал подход следующим образом: видео может закончиться, но мир должен продолжать работать. Все представленные показатели производительности являются данными, предоставленными самой компанией.

Компания Tongyan Lingzhi, которая является дочерней структурой индустриальной платформы Пекинского института общей искусственного интеллекта (BIGAI), представила свой подход к концепции персонального ИИ. Этот подход предполагает создание моделей, которые непрерывно обучаются на основе данных конкретного человека, проекта или компании, вместо того чтобы полагаться исключительно на запросы и поиск информации.

Большинство существующих корпоративных систем ИИ сегодня адаптируются к пользователям извне. Они используют запросы для установления правил, извлекают документы через поиск, хранят состояние в памяти и упаковывают многократно используемые шаги. Однако сами веса модели редко изменяются после взаимодействия.

Tongyan Lingzhi утверждает, что стабильные привычки, например, инженерные стандарты команды или дисциплина управления рисками инвестиционной группы, могут быть интегрированы непосредственно в параметры модели. Архитектура компании предусматривает сохранение общей базовой модели для обработки общих знаний и рассуждений, к которой добавляются легковесные адаптеры Personal LoRA для каждого отдельного пользователя, проекта или организации. Компания отмечает, что эти индивидуальные возможности должны сохраняться даже в случае замены базовой модели.

Для поддержания обучения этих адаптеров команда разрабатывает механизм рекурсивного самосовершенствования, или RSI. Трассировки задач, корректировки со стороны человека и полученные результаты становятся потенциальными данными для обучения. Специальный оценщик, настроенный под стандарты каждого пользователя или компании, отбирает сигналы, которые стоит изучить перед внесением инкрементального обновления LoRA. Обновленная модель затем запускается на тех же задачах, что и предыдущая версия, и в рабочую среду выводятся только улучшения, тогда как регрессии отменяются.

Технический директор Чу Бинбин подчеркнул, что один отклоненный вариант является лишь сигналом, и только повторяющиеся закономерности должны становиться обучающими данными. Кроме того, компания работает над созданием инфраструктуры, позволяющей сделать тысячи таких адаптеров доступными. Система TIP выполняет обучение и инференс параллельно на одних и тех же GPU, а Paged LoRA управляет памятью адаптера страницами. В одном тестовом этапе с использованием Qwen2.5-72B-Instruct на восьми GPU Nvidia H800 и бюджетом памяти адаптера в 5,79 ГБ, Paged LoRA продемонстрировала лучшую задержку и поведение в «хвосте» по сравнению с плоским макетом, когда запросы LoRA составляли от 1% до 30% трафика, однако производительность снизилась при достижении 50%.

Tongyan Lingzhi признает, что работа находится на ранней стадии. Хотя технический путь RSI и архитектура продукта определены, и модули находятся в стадии проектирования, полностью автоматизированный цикл обучения все еще находится в разработке. Среди открытых проблем остаются катастрофическое забывание, загрязнение обратной связью и дрейф модели.

VAST, компания, специализирующаяся на генеративном ИИ в 3D и стоящая за платформой Tripo, сделала модель EdenLive общедоступной. Эта модель работает в режиме реального времени и способна брать упрощенные игровые кадры или существующее видео, непрерывно перерисовывая их в детальные изображения в выбранном стиле, который может варьироваться от фотореалистичного до аниме.

Выпуск включает веса моделей размером 5B и 14B, код для инференса в реальном времени, технический отчет и демонстрации сквозного использования. Важно отметить, что EdenLive самостоятельно не симулирует мир; вместо этого вышестоящая программа, например игровой движок или код, написанный агентом кодирования, отвечает за соблюдение правил, отслеживание состояния мира и вывод грубого эталонного видео.

После получения этого эталонного видео, EdenLive выполняет рендеринг, руководствуясь заданным первым кадром и текстовым запросом. VAST утверждает, что такое разделение позволяет сохранить игровую логику явной и пригодной для тестирования, а ограниченные возможности модели в реальном времени сосредоточить исключительно на внешнем виде.

Подход был впервые представлен в июне в рамках более масштабного исследования мира, известного как Проект Eden. Согласно заявлениям VAST, модель 5B способна работать с частотой выше 24 кадров в секунду при разрешении 720p на одной видеокарте Nvidia RTX 5090. В файле README на GitHub эта цифра указана примерно как 24.7 FPS при разрешении 1280 на 704 пикселя, используя ускорение от фреймворка инференса LightX2V.

Технический отчет сообщает о показателе 29.8 FPS при том же разрешении на одном H100, а также 26.8 FPS при разрешении 832 на 480 для модели 14B, работающей на восьми H100. VAST заявляет, что общая задержка от ввода пользователя до соответствующего кадра составляет сотни миллисекунд, и система может генерировать контент непрерывно в течение нескольких минут.

Обе модели основаны на видеомоделях Wan2.2-TI2V-5B и Wan2.1-I2V-14B. Код инференса и основные веса диффузии, VAE и декодера распространяются под лицензией Apache 2.0, однако не все компоненты имеют такую лицензию. Визуальный энкодер использует лицензию DINOv3, а модель изображения, применяемая в рабочем пространстве от запроса к игре, находится под Некоммерческой лицензией FLUX, что ограничивает использование этого рабочего пространства некоммерческими целями.

VAST также представила Game Prototype Turbo — навык, который преобразует текстовый запрос в грубую играбельную игру, которую затем может отрендерить EdenLive. Демонстрации VAST включают платформер, где персонаж замораживает лаву для создания опорных точек, двухпользовательскую файтинг-игру, где отслеживаются полоски здоровья и таймер раунда вышестоящей системой, а также рендеринг видео, превращающий человека, снятого на синий фон, в мультяшного персонажа. Кроме того, модель демонстрирует замену человеческих рук на роботизированные в футаже от первого лица для создания дополнительных обучающих данных для воплощенного ИИ.

VAST отмечает, что в настоящее время EdenLive лучше всего подходит для взаимодействия низкой частоты, такого как осмотр сцен и головоломки с толканием ящиков. Быстрый, интенсивный геймплей, поддержание согласованности нескольких персонажей, тонкий контроль над мелкими объектами и визуальная стабильность в длительных сессиях все еще требуют доработки.