Google выпустил Gemini Omni 1.2 Flash для создания видео продолжительностью до 15 секунд

openJiuwen, фреймворк с открытым исходным кодом, поддерживаемый Huawei, выпустил OmniMem-Lens — мультимодальную функцию памяти в версии 0.2.0 своего модуля AgentMemory. Эта функция позволяет ИИ-агентам запоминать длинные видеоролики, основываясь на реальных событиях, а не на фиксированных временных интервалах, как сообщила QbitAI 4 ноября.

Команда утверждает, что стандартный подход, заключающийся в разделении длинных видео на одноминутные сегменты и хранении каждого отдельно, нарушает память агента двумя способами. Когда непрерывная сцена делится между окнами, агент получает лишь половину доказательств, что способствует галлюцинациям. Кроме того, несколько секунд ключевого действия, смешанные с минутами нерелевантного материала, могут быть потеряны в шуме, снижая точность поиска.

Большинство методов сегментации событий также полагаются только на один тип данных, из-за чего они пропускают смену тем, если изображение остается статичным, или смену сцен, если никто не говорит. OmniMem-Lens отслеживает оба потока: визуальный трек отмечает смены сцен, а аудиотрек использует распознавание речи для определения смены темы говорящим, даже если экран не изменился. Перекрестная проверка этих двух источников позволяет делать срезы именно по границам реальных событий.

В одном примере, где был показан двухчасовой обзор продукта, демонстрировалась одна и та же архитектурная схема в течение 40 минут, в то время как спикер освещал три разные темы. Аудиотрек разделил их на три воспоминания, что позволило ответить на последующий вопрос о показателях нагрузочного тестирования.

Память хранится в трех уровнях: L0 сохраняет исходное видео, L1 содержит воспоминания на уровне событий, а L2 — более детальные воспоминания на уровне сегментов. Уровни L1 и L2 полностью преобразуются в текст и векторы, что позволяет интегрировать их в существующие стеки генерации с дополненной выборкой и основные векторные базы данных с минимальными изменениями. Основная работа по организации данных выполняется офлайн. Во время запроса система сопоставляет запрос с L1 и L2, извлекая точные кадры из L0 только тогда, когда требуется проверка визуальных деталей.

При тестировании OmniMem-Lens в паре с Qwen3-VL-8B против прямого ответа Qwen3-VL-8B из видео, точность извлечения информации увеличилась на 8% на Video-MME-L и на 6.4% на LVBench. Наибольший прирост, составивший 45.7%, был достигнут на EgoLife-QA, на наборе данных первого лица, записывающем полный день повседневной жизни, где фиксированное нарезание часто дает сбой. На LVBench время отклика в режиме онлайн снизилось с 34.5 секунд до 1.72 секунды, что примерно в 20 раз быстрее, а команда оценивает максимальное снижение задержки в 97%.

Исходный код проекта доступен на GitCode с зеркалом на GitHub под лицензией Apache-2.0. Команда сообщает, что openJiuwen WorkSwarm скоро начнет поддерживать AgentMemory, что позволит запоминать и вспоминать видео, которыми обмениваются в повседневных беседах во время последующих обсуждений.

Компания SenseTime представила официальную версию SenseNova 6.8 Flash 2 ноября, расширив возможности своего мультимодального агента для совместной работы в офисных приложениях и сфере дизайна.

Данная модель способна создавать анимированные презентации, плакаты, веб-сайты, графику в формате SVG, а также заниматься 3D-моделированием с использованием таких инструментов, как Blender.

Кроме того, компания уделяет особое внимание функциям долгосрочной памяти и взаимодействия между различными диалогами. Эти возможности призваны помочь агентам запоминать требования проекта, связывать информацию из предыдущих задач и предлагать корректировки при изменении релевантных данных.

Модель доступна через помощника Raccoon от SenseTime и по плану SenseNova Token Plan. Компания QbitAI продемонстрировала генерацию веб-сайтов, плакатов и презентаций в клиенте Raccoon; отдельное тестирование долгосрочной памяти и проактивного сотрудничества проводилось с использованием внутренней версии разработки.

Компания Dawa Technology, базирующаяся в Чунчине и возникшая из сферы виртуального кинопроизводства, представила Scenes AI — модель мира в реальном времени. Эта система способна преобразовывать видео, снятое обычной камерой, в редактируемый и постоянный мир.

Продукт получил награду за превосходство на промежуточном мероприятии стартапов NVIDIA в Сучжоу 15 октября. Среди более чем 580 участников этого этапа приняли участие тридцать членов NVIDIA Inception.

Большинство видеомоделей сосредоточены на прогнозировании следующего кадра. Однако Scenes AI поддерживает непрерывное состояние мира. Такие элементы, как сцена, люди, камера, освещение, объекты и физика, хранятся как отдельные переменные, которые могут быть прочитаны и изменены независимо. При изменении происходит обновление только соответствующей части состояния, а не полное перерисовывание изображения.

В демонстрациях Dawa показала, как комната трансформируется в луг, нарисованный от руки, в то время как стул, плюшевый медведь и шкаф сохраняют свои позиции. Надписи на стене остаются на месте, а люди появляются и исчезают, а погода меняется от снега до дождя.

Система включает сложный управляющий слой и легкий генеративный слой. Управляющий слой, построенный вокруг модуля Latent Stage, разделяет сцену, персонажа, камеру, освещение, костюм и реквизит в латентном пространстве, применяя физические ограничения для твердых тел, ткани, жидкостей и частиц. Рендеринг-слой, LiveStage, использует причинно-следственную разреженную диффузию для выборки только изменяющихся областей.

Модель имеет в общей сложности 34 миллиарда параметров, но активирует около 4 миллиардов на каждом шаге, что составляет примерно 11,8 процента. Dawa утверждает, что это снижает использование GPU на 40–60 процентов и ускоряет вывод в три-пять раз по сравнению с традиционной видеодиффузией.

На одной потребительской карте NVIDIA GeForce RTX система достигает вывода в реальном времени при разрешении 720p и частоте 25 кадров в секунду. В тестах непрерывного редактирования компания сообщает о 98,2 процентном успехе целевого редактирования и 93,3 процентном сохранении идентичности людей. Система использует CUDA, TensorRT и NVENC и функционирует на локальном оборудовании без облачных вычислений.

Dawa заявляет, что ее данные получены из студийного пространства площадью 84 000 квадратных метров, более 300 реальных производств и 180 ТБ данных о состоянии мира. Главный директор по продукту компании, Ли Цзонгсинь, резюмировал подход следующим образом: видео может закончиться, но мир должен продолжать работать. Все представленные показатели производительности являются данными, предоставленными самой компанией.