Проектная группа предоставила подробное описание Виртуальной студии, расположенной на бывшей оружейной фабрике в А-Корунье. Этот проект архитектурно воплощает фундаментальную двойственность места.
Эта двойственность проявляется через два контрастных элемента: герметичную структуру, предназначенную для создания цифровых сред, и открытое пространство, которое устанавливает прямой диалог с природным окружением и промышленной историей объекта.
ACE Robotics совместно с S-Lab из Nanyang Technological University выпустили Mundo — модель мира, способную создавать интерактивную и исследуемую среду на основе небольшого количества изображений реального места. Об этом сообщила китайская новостная площадка Robot Pro 31 октября.
Команда утверждает, что Mundo может воссоздавать сцену, отображать ее с разных ракурсов и моделировать ее во времени, что позволяет тестировать и обучать роботов в цифровой копии определенного пространства.
Согласно репозиторию на GitHub, код и веса модели будут доступны к концу ноября.
Mundo принимает от одной до двенадцати контекстных изображений и генерирует новые виды вдоль заданного пути камеры. При использовании всего одного изображения система расширяет видимый стиль и структуру на невидимые участки, а увеличение числа изображений снижает неопределенность в тех зонах, которые не были сфотографированы.
Для больших пространств модель способна создавать движения камеры продолжительностью от десятков секунд до нескольких минут, выбирая наиболее подходящие фотографии для каждого сегмента и накладывая их для обеспечения согласованности.
В основе работы лежит трехмерная фундаментальная модель, которая восстанавливает позы камер и плотную геометрию. Одновременно с этим трехмерный детектор создает первоначальный ограничивающий прямоугольник для каждого крупного объекта. Поскольку детекторы могут пропускать объекты или неправильно оценивать их размеры, агент на базе модели зрения и языка редактирует программу сцены, рендерит ее с каждой входной точки обзора, сравнивает результат с исходными фотографиями и определяет, что необходимо исправить. Параллельно численная оптимизация настраивает положение, размер и ориентацию ящиков.
Отдельный агент проверки следит за согласованностью, не вмешиваясь в редактирование сцены. Программа сцены фиксирует имя, позу, размер, массу и коэффициент трения каждого объекта. Скрипты применяют силы и действия, а физический движок, который в настоящее время является MuJoCo, рассчитывает движение, контакт и столкновения. Затем видеодиффузионная модель визуализирует симуляцию в стиле оригинальных снимков.
Команда доработала модель MiniMax reference-to-video, используя около 40 000 парных видеороликов размером 640 на 480, генерируя клипы продолжительностью 124 кадра и повторно используя последние 34 кадра из каждого клипа для поддержания непрерывности длинных видео.
Демонстрации включают сценарии, где роботы перемещаются по воссозданному полу отеля, открывают стиральную машину в прачечной, кладут яблоко в миску и складывают кубики, причем используются виды с головной и запястной камер, а также записанные траектории.
Команда четко обозначила пределы возможностей системы: процесс реконструкции занимает от 10 до 20 минут, рендеринг выполняется примерно со скоростью 1,5 кадра в секунду на восьми GPU A800 при 20 шагах инференса. Также отмечено, что мелкие объекты могут выглядеть парящими, а долгосрочная память для сцен, меняющихся в течение длительного времени, отсутствует.
Mistral AI предоставила веса Large 4, модели искусственного интеллекта с триллионом параметров. Эту модель можно загрузить и использовать правительствами и компаниями в своих собственных системах. Этот ИИ, известный как «Le Chonk», был разработан для помощи в различных функциях, таких как выявление ошибок в программном обеспечении, анализ цифровых угроз и поддержка реагирования на кибератаки.
Запуск состоялся в этот четверг (29 число) и закрепляет стратегию французской компании по продвижению моделей с открытыми весами, что обеспечивает больший контроль над технологией. Файлы доступны на Hugging Face, а инструмент также может использоваться через API Mistral.
Эта инициатива направлена на снижение зависимости от сервисов ИИ, управляемых внешними провайдерами. Это особенно важно для организаций, работающих с конфиденциальными данными и нуждающихся в расследовании инцидентов безопасности без передачи своей информации на сторонние платформы.
Кибербезопасность является одним из столпов этого запуска. Large 4 был создан для поддержки технических команд в поиске уязвимостей, воспроизведении ошибок для подтверждения их подлинности и генерации исправлений для обнаруженных проблем.
По данным Mistral, модель получила оценку в 82% в тесте, проведенном Artificial Analysis Cyber Index. Этот индекс оценивает способность модели воспроизводить реальную уязвимость в программном обеспечении с открытым исходным кодом, а затем исправлять ее. Кроме того, компания сообщает, что ИИ решил 93% задач Cybench — набора из 40 упражнений, вдохновленных соревнованиями по цифровой безопасности.
Эти результаты публикуются самой разработчиком и должны анализироваться с учетом специфических обстоятельств каждой оценки. Помимо обнаружения ошибок, Mistral указывает на использование модели для анализа вредоносного ПО, приоритизации уязвимостей и разработки правил для выявления угроз.
Компания также подчеркнула производительность модели в программировании. В Coding Agent Index от Artificial Analysis Large 4 показал комбинированный балл 49,8%, согласно данным разработчика. Mistral утверждает, что это достижение ставит его в авангарде других моделей с открытыми весами в задачах программирования, выполняемых агентами ИИ.
Веса относятся к числовым значениям, полученным в процессе обучения, которые позволяют модели генерировать свои ответы. Выпуская эти файлы, организации получают возможность запускать Large 4 в собственной инфраструктуре, вместо того чтобы полагаться исключительно на внешний сервис. Это обеспечивает большую автономию в отношении данных, конфигурации инструмента и принятых мер безопасности. В критических сценариях, например, корпорация может использовать модель для расследования атаки, не будучи зависимой от доступности или ограничений стороннего API.
В беседе с TechCrunch вице-президент Mistral по науке Пьер Сток заявил, что предоставление весов позволяет компаниям и правительствам получать доступ к передовым возможностям ИИ для защиты от атак. По словам руководителя, модель может помогать в выявлении, координации и реагировании на крупные инциденты безопасности в режиме реального времени. Он также выступил за расширение доступа к этим возможностям для укрепления экосистемы цифровой защиты.
Эта стратегия ставит Mistral в конкуренцию с другими компаниями, такими как OpenAI и Anthropic, чьи более сложные модели преимущественно предлагаются через сервисы, контролируемые самими разработчиками. Однако свобода запуска модели без зависимости от внешнего поставщика имеет недостаток: после выпуска весов становится сложнее отслеживать, кто использует технологию и для каких целей.
Та же функциональность анализа уязвимостей, которая помогает командам безопасности, может представлять интерес для злоумышленников, стремящихся использовать слабости в системах. Более того, независимая эксплуатация позволяет организациям настраивать модель под свои нужды, но подразумевает, что ограничения, наложенные в размещенном сервисе, не всегда применяются ко всем модифицированным версиям.
Сток признал присущие риски развития ИИ и автономных агентов, но утверждал, что нет необходимости усиливать опасения по поводу технологии, поскольку безопасность — это проблема, которую можно решить. Mistral утверждает, что Large 4 был специально разработан для укрепления киберзащиты, обладая способностью выполнять технические задачи, которые более ограничительные системы могли бы отклонить, даже при законном расследовании безопасности.
С этим выпуском компания расширяет свой набор передовых моделей, которые могут быть внедрены и настроены самими пользователями. Главная задача заключается в поиске баланса между предоставлением доступа к мощным инструментам цифровой защиты и управлением опасностями их ненадлежащего использования.
Сегодня интернет и социальные сети стали неотъемлемой частью нашей жизни. Миллионы людей общаются, обмениваются мнениями и распространяют информацию в виртуальном пространстве.
