Google запустила экспериментальное приложение Dreambeans в Индии

Приложение для генеративных медиа Dreamina от ByteDance объявило 26 октября о запуске своей специализированной студии коротких драм. Эта студия интегрирует три проприетарные модели в единый производственный рабочий процесс, разработанный специально для формата вертикального видеодрамы.

Первый компонент — это модель генерации сценариев DreamScript. Она способна создавать сценарии в различных доминирующих жанрах, включая оригинальные повествования, адаптации, международные версии и сегменты в стиле комментариев. Кроме того, система предоставляет функцию «диагностики хита», которая сравнивает черновик с текущими тенденциями платформы для рекомендации структурных улучшений, и она может обрабатывать и анализировать тексты длиной до 100 000 символов.

Вторая модель, Anycook, функционирует как генератор изображений, адаптированный для художественного направления коротких драм. Dreamina заявляет, что Anycook откалиброван таким образом, чтобы персонажи сохраняли визуальную согласованность на протяжении всего производства и чтобы создавать сцены в разнообразных визуальных стилях, подходящих для разных повествовательных сред.

Третья модель, DreamShot, служит моделью раскадровки. Она работает в двух конфигурациях — свободный холст или структурированная раскадровка — и поддерживает глобальные изменения, что означает, что любая корректировка, внесенная посредством взаимодействия с инструментом, обновляет всю доску, а не требует изменений кадр за кадром. 3D-режиссерский стол позволяет создателям позиционировать виртуальную камеру, определять ее движение и предварительно просматривать полученный кадр перед рендерингом; система также может связывать ключевые кадры вместе для создания предварительной анимированной последовательности для проверки темпа и непрерывности.

Постпродакшн-слой окружает эти три основные модели. Отдельные кадры можно переснять на месте без необходимости перегенерации всего материала. Интегрированный аудиоинструмент позволяет разделять диалоги и фоновый звук, что дает возможность переозвучивать сцены. Кроме того, функция разделения кадров автоматически делит длинные последовательности на управляемые, редактируемые блоки. Активы, созданные в других частях Dreamina, поступают в студию, и любые примененные правки следуют этой установленной цепочке.

Функция, наиболее ориентированная на дистрибуцию, — это режим ремейка. Пользователи могут загрузить существующую короткую драму, и система определит ее персонажей, декорации, реквизит и структуру кадров. Затем она генерирует визуальный ряд в соответствии с выбранным стилем, соотношением сторон и целевым регионом, сохраняя при этом исходный темп и кинематографический язык. Это фактически создает конвейер локализации для формата, который китайские студии активно экспортируют.

ByteDance добивалась успеха на этом рынке с помощью множества стратегий, начиная от разработки видеомоделей и заканчивая предоставлением платформенных стимулов для драм, сгенерированных ИИ. Интеграция моделей сценария, изображения и раскадровки в одну студию знаменует собой первый случай, когда компания предоставила полный производственный цикл в одном продукте.

Компания ByteDance представила свою студию искусственного интеллекта Jimeng AI, предназначенную для производства коротких драматических сериалов. Эта платформа объединяет весь производственный цикл: от разработки сценария и создания персонажей и сцен до раскадровки, видеосъемки и последующей обработки.

В работе студии используются три собственные модели: DreamScript, которая отвечает за написание сценариев; Anycook, используемая для генерации изображений; и DreamShot, предназначенная для создания раскадровок.

Инструмент DreamScript способен работать как с оригинальными историями, так и с адаптациями, а также создавать сценарии, ориентированные на зарубежную аудиторию. При этом инструменты для работы с изображениями и раскадровками помогают создателям формировать визуальные элементы и планировать кадры.

Кроме того, студия позволяет заменять отдельные кадры, восстанавливать аудиодорожки и переделывать уже существующие драмы в визуальном стиле, подходящем для различных рынков. Таким образом, запуск этой студии расширяет возможности Jimeng за пределы простых задач генерации отдельных изображений или видео, выводя их на уровень скоординированного производства коротких драматических проектов.

Компания Dream Labs привлекла 90 миллионов долларов в виде посевного финансирования для создания искусственного интеллекта, предназначенного для использования в повседневных роботах. Эта стартап, базирующийся в Сан-Франциско, был основан в 2026 году бывшими руководителями исследовательской группы GR00T от NVIDIA.

Раунд финансирования возглавили B Capital и Kindred Ventures. Среди других инвесторов были A. Capital, Unusual Ventures, SV Angel, Wing VC, Scribble VC и Adrian Aoun. Компания считает, что роботы часто сталкиваются с проблемой, схожей с человеческой: они обучаются для одной конкретной задачи, но не могут применять полученные навыки в других областях.

Целью Dream Labs является создание более гибких роботов с использованием единой модели ИИ. Такая система позволит выполнять новые задачи или работать с новым оборудованием, требуя меньшей квалификации. Главный исполнительный директор Джоэл Джанг отметил, что в отрасли имеется достаточно способного оборудования, однако не хватает интеллекта, который мог бы функционировать между различными роботами.

Помимо привлечения средств, Dream Labs представила Dream API. Этот сервис преобразует видеопоток с камеры робота и инструкции, данные на простом английском языке, в команды для моторов. Разработчики могут использовать эту услугу для программирования поддерживаемых роботов без необходимости создавать собственный ИИ.

Кроме того, компания запустила сервис Fine-tuning as a Service. Разработчики и производители робототехники могут загружать демонстрационные данные, чтобы получить индивидуально настроенную модель для необорудованного или для новых функций. Технологию также можно протестировать через Robot Playground.

Любой пользователь с браузером может отправлять команды физическому роботу в офисе Dream Labs в Сан-Франциско и наблюдать за реакцией в режиме реального времени. Эти продукты призваны сделать робототехнический ИИ более доступным для разработчиков и производителей, а также дать потенциальным пользователям возможность проверить технологию до начала масштабного внедрения.

Флагманская модель компании, Dream-1, обучается на видеозаписях людей, выполняющих обычные действия. Она использует визуальную информацию для прогнозирования последующих событий и определения действия робота. Dream-1 спроектирована таким образом, чтобы передавать возможности между различным оборудованием.

Компания утверждает, что может управлять совместимыми роботами, оснащенными захватами, без дополнительного обучения, специфичного для задачи. В настоящее время Dream Labs сотрудничает с более чем 20 партнерами по оборудованию. Модель способна выполнять настольные задачи, такие как подбор предметов, размещение вещей и складывание белья.

Планируется поддержка колесных мобильных роботов и более ловких роботизированных рук. Генеральный партнер B Capital Дейзи Кай заявила, что снижение стоимости оборудования открывает возможности для развития робототехнического интеллекта. Она полагает, что доступное программное обеспечение поможет разработчикам создавать более полезные приложения на уже существующих машинах.

Dream Labs планирует направить большую часть нового капитала на развитие вычислительной инфраструктуры. Эти инвестиции поддержат больше пользователей и расширят спектр задач и типов роботов, которые может обрабатывать Dream-1. Хотя потенциал значителен, подход исследователей все еще требует проверки в реальных условиях.

По всему миру работают сотни миллионов промышленных роботов, но большинство из них ограничено лишь несколькими задачами в определенных средах. Если модель будет надежно работать со всеми машинами, это может упростить автоматизацию производства и других процессов для компаний. Кроме того, это может уменьшить количество систем, которые фирмам необходимо разрабатывать для соответствия различным роботам. Однако технологии Dream Labs должны продемонстрировать свою работоспособность в разнообразных условиях, а также с различными типами оборудования и более сложными приложениями.