Система openJiuwen от Huawei предоставляет агентам видеопамять, основанную на событиях, сокращая время ответа до 97%

Компания ByteDance проводит реструктуризацию своих проектов в области генеративного видео, объединяя два своих продукта на базе искусственного интеллекта.

Недавно подразделение CapCut ByteDance интегрировало Xiaoyunque в Jimeng, при этом сохраняя возможность доступа к Xiaoyunque как к отдельному продукту. Xiaoyunque специализируется на автоматизированном производстве коротких драматических сюжетов, преобразуя сценарии в раскадровки и готовые эпизоды. В то время как Jimeng представляет собой более широкую платформу для создания, редактирования и генерации изображений и видео.

Функционал этих двух продуктов начал пересекаться, поскольку оба они стремятся к созданию видеоконтента от начала до конца. Теперь возможности коротких драм Xiaoyunque были поглощены Jimeng, и управление этими операциями будет осуществляться руководителем по операциям и маркетингу Jimeng, хотя команда разработчиков останется прежней.

Основная причина этого шага — концентрация ресурсов. Оба продукта продолжают расти, однако рост числа пользователей пока не принес доход, сопоставимый с инвестициями, а широкое распространение продуктов-видеоагентов сужает пространство для дифференциации.

Это давление наблюдается и на рынке: Kling 4.0 от Kuaishou, выпущенный в этом месяце, поддерживает более длительную генерацию, мультимодальные ссылки и контроль ключевых кадров. Аналогично, H3 от MiniMax ориентирован на коммерческое использование, включая рекламу, электронную коммерцию и игры.

Граница конкуренции смещается от базовой генерации текста в видео к управляемым рабочим процессам создания контента от начала до конца. Xiaoyunque трансформировался в специализированный рабочий процесс для коротких драм, тогда как Jimeng переходит от общей генерации изображений и видео к профессиональному созданию.

ByteDance также перепозиционировала сам Jimeng. Перед праздниками в Китае компания сократила инвестиции в потребительское приложение Jimeng и перенаправила ресурсы на свой профессиональный веб-продукт, международную версию Dreamina, и коммерциализацию.

Таким образом, недавняя консолидация может позволить ByteDance сохранить специализированные возможности Xiaoyunque в области коротких драм, одновременно уменьшая дублирование функций между двумя все более пересекающимися продуктами.

Более существенное изменение в конкурентной среде связано с Seedance. ByteDance предоставила Seedance 2.5 через API Volcano Engine, что позволяет компаниям и разработчикам интегрировать возможности генерации видео в собственные продукты. Эта модель принимает на вход текст, изображение, видео и аудио, а также поддерживает редактирование и расширение видео.

Документация Volcano Engine показывает, что модель поддерживает текстовый, графический, видео- и аудиоввод, а также редактирование и расширение видео. Доход от бизнеса Seedance в режиме модели как услуги (MaaS) через Volcano Engine значительно превышает доход от Jimeng и Xiaoyunque.

Это означает, что некоторые приложения, конкурирующие с собственными инструментами создания контента ByteDance, могут также стать клиентами ее базовой модели. Это повышает требования к собственным приложениям ByteDance: если Seedance приносит доход через третьих лиц, то каждый внутренний продукт должен оправдывать свое существование за счет роста, удержания пользователей или монетизации.

Эта реструктуризация выглядит не как отступление от видео, а скорее как перераспределение ставок ByteDance. Несмотря на консолидацию инструментов ИИ для создания контента, ByteDance продолжает расширять дистрибуцию. Ее зарубежное приложение для коротких драм PineDrama вошло в топ-10 бесплатных приложений для iPhone в США, Бразилии и Таиланде, опираясь на модель с поддержкой рекламы, трафик из TikTok и экосистему контента ByteDance.

Эти шаги могут указывать на более многоуровневую стратегию: развитие потребительских платформ для дистрибуции, фокусирование инструментов создания на профессиональных рабочих процессах и монетизация Seedance путем предоставления своей технологии другим компаниям. Поскольку модели ИИ совершенствуются, создавать отдельные приложения становится проще, что смещает большую власть к компаниям, стоящим за моделями. Задача ByteDance заключается в определении того, где ей еще удастся выделиться.

Фильм «Sanxingdui: Future Past», который длится 100 минут и был создан с помощью рабочего процесса, управляемого искусственным интеллектом от начала до конца, вышел в китайских кинотеатрах 23 октября. Согласно данным IT Home, это первая картина такого рода, получившая разрешение на публичный показ от Национальной киноадминистрации Китая.

Производство фильма осуществляла Bona Film Group с использованием собственной платформы Boka Film Cloud Studio. За период более двух лет команда создала свыше 1,2 миллиона базовых изображений и провела более сотни полных итераций фильма. Создатели подчеркивают, что каждый персонаж является оригинальным цифровым творением, и в фильме отсутствуют цифровые копии реальных актеров.

Bona утверждает, что ИИ в основном отвечает за генерацию и исполнение, тогда как идеи, сценарий, дизайн кадров и эстетические суждения поступают от команды AIGMS компании. Процесс производства был организован по принципу традиционной съемочной группы, в которой участвовали около 100 человек и 17 специалистов, включая сценаристов, режиссеров, продюсеров, художников-постановщиков, операторов, специалистов по освещению, звуку и монтажу.

Сюжет разворачивается в будущем, где человечество передало все решения алгоритмам, что спровоцировало глобальный кризис. Подсказки для разрешения этой проблемы кроются в семи древних символах из археологического памятника эпохи бронзы Сансиндуй, расположенного в провинции Сычуань. Создатели описывают эту структуру как ответы в прошлом и кризис в будущем.

Посещаемость фильма оказалась скромной. Издание National Business Daily сообщило о низком уровне заполняемости в первые дни проката. Специалисты, работающие в сфере ИИ-контента, рассказали изданию, что длинные фильмы, созданные с помощью ИИ, по-прежнему сталкиваются с проблемами согласованности персонажей, сцен и деталей на протяжении 100 минут, а также с реализмом изображения. Один из экспертов отметил, что зрителям может показаться, будто персонажи, сгенерированные ИИ, искусственны, что затрудняет эмоциональную связь. Другой аргументировал, что исходный сценарий определяет конечный результат: это рынок контента, а не производственный рынок.

Bona заявила о наличии в разработке других проектов с участием ИИ, включая научно-фантастическую анимацию «Unplanned: Operation Guanghan», которая еще не получила лицензию на показ. Другие китайские студии, такие как Huayi Brothers и Huace, также анонсировали проекты фильмов и сериалов с применением ИИ. На данный момент фильм служит испытанием того, способен ли полный конвейер производства на базе ИИ создать картину, которую аудитория предпочтет традиционно снятым фильмам.

Компания Dawa Technology, базирующаяся в Чунчине и возникшая из сферы виртуального кинопроизводства, представила Scenes AI — модель мира в реальном времени. Эта система способна преобразовывать видео, снятое обычной камерой, в редактируемый и постоянный мир.

Продукт получил награду за превосходство на промежуточном мероприятии стартапов NVIDIA в Сучжоу 15 октября. Среди более чем 580 участников этого этапа приняли участие тридцать членов NVIDIA Inception.

Большинство видеомоделей сосредоточены на прогнозировании следующего кадра. Однако Scenes AI поддерживает непрерывное состояние мира. Такие элементы, как сцена, люди, камера, освещение, объекты и физика, хранятся как отдельные переменные, которые могут быть прочитаны и изменены независимо. При изменении происходит обновление только соответствующей части состояния, а не полное перерисовывание изображения.

В демонстрациях Dawa показала, как комната трансформируется в луг, нарисованный от руки, в то время как стул, плюшевый медведь и шкаф сохраняют свои позиции. Надписи на стене остаются на месте, а люди появляются и исчезают, а погода меняется от снега до дождя.

Система включает сложный управляющий слой и легкий генеративный слой. Управляющий слой, построенный вокруг модуля Latent Stage, разделяет сцену, персонажа, камеру, освещение, костюм и реквизит в латентном пространстве, применяя физические ограничения для твердых тел, ткани, жидкостей и частиц. Рендеринг-слой, LiveStage, использует причинно-следственную разреженную диффузию для выборки только изменяющихся областей.

Модель имеет в общей сложности 34 миллиарда параметров, но активирует около 4 миллиардов на каждом шаге, что составляет примерно 11,8 процента. Dawa утверждает, что это снижает использование GPU на 40–60 процентов и ускоряет вывод в три-пять раз по сравнению с традиционной видеодиффузией.

На одной потребительской карте NVIDIA GeForce RTX система достигает вывода в реальном времени при разрешении 720p и частоте 25 кадров в секунду. В тестах непрерывного редактирования компания сообщает о 98,2 процентном успехе целевого редактирования и 93,3 процентном сохранении идентичности людей. Система использует CUDA, TensorRT и NVENC и функционирует на локальном оборудовании без облачных вычислений.

Dawa заявляет, что ее данные получены из студийного пространства площадью 84 000 квадратных метров, более 300 реальных производств и 180 ТБ данных о состоянии мира. Главный директор по продукту компании, Ли Цзонгсинь, резюмировал подход следующим образом: видео может закончиться, но мир должен продолжать работать. Все представленные показатели производительности являются данными, предоставленными самой компанией.