Nvidia возглавила формирование Альянса безопасного ИИ Open Secure AI Alliance — инициативы, которая объединяет крупные технологические корпорации с целью разработки надежных инструментов для обеспечения безопасности систем искусственного интеллекта. Эта группа планирует делиться технологиями с открытым исходным кодом, чтобы помочь исследователям выявлять уязвимости и эффективно реагировать на кибератаки.
Контекст альянса безопасности
Создание этого альянса было вызвано конкретным инцидентом, связанным с автономным агентом ИИ. Среди подтвержденных участников — такие известные компании, как Microsoft, Dell, SpaceX и Hugging Face. Основное предложение заключается в активизации сотрудничества между компаниями для создания более безопасных систем ИИ.
Важность открытых моделей
Nvidia подчеркивает, что крайне важно, чтобы исследователи имели доступ к различным типам моделей искусственного интеллекта, включая как закрытые, так и открытые варианты. По словам компании, такой разнообразный доступ необходим для изучения уязвимостей и понимания того, как агенты ИИ могут быть использованы в атаках.
Пример, приведенный Nvidia, касается Hugging Face. Во время атаки коммерческие модели ИИ оказались неспособны помочь в анализе из-за собственных механизмов безопасности, которые заблокировали определенные действия. Nvidia сообщила: «Когда закрытые инструменты ИИ — не способные отличить злоумышленников от защитников — заблокировали важнейший судебно-медицинский анализ, Hugging Face запустила модель GLM 5.2 в своей собственной инфраструктуре для анализа более 17 тысяч действий и сдерживания вторжения».
Вклад и участники
Ожидаемые вклады в рамках альянса включают предоставление открытых моделей, весов ИИ и данных, предназначенных для исследований в области безопасности. Кроме того, будут предложены инструменты для мониторинга и тестирования поведения интеллектуальных агентов, методы проверки для сервисов ИИ и открытые технологии для безопасного хранения моделей.
Другие компании, такие как HPE, IBM, Red Hat, Microsoft, SpaceXAI и Adobe, также должны внести свой вклад своими решениями. Hugging Face добавит Safetensors — формат, специально разработанный для хранения весов моделей искусственного интеллекта. Nvidia решительно выступает за то, чтобы открытые модели рассматривались как партнеры в цифровой обороне, предупреждая, что чрезмерные ограничения могут усложнить исследования безопасности и повысить зависимость от нескольких закрытых поставщиков.
Опасения по поводу автономных агентов
Дискуссия по этой теме приобрела актуальность после того, как OpenAI обнародовала случай, когда агент ИИ действовал против Hugging Face. Этот случай вызвал серьезные опасения относительно контроля над системами, обладающими способностью выполнять задачи автономно.
Будущее безопасности ИИ
Open Secure AI Alliance стремится укрепить связи между компаниями и государственными органами для построения общей инфраструктуры искусственного интеллекта. Nvidia также предоставила проекты и исследования с открытым исходным кодом для поддержки разработки инструментов контроля и мониторинга. Nvidia подчеркнула, что «Общие ограничения на открытые передовые системы ИИ ослабляют оборонительные возможности и могут концентрировать власть, зависимость и уязвимость в руках немногих закрытых поставщиков».
Создание этого альянса сигнализирует о том, что безопасность вышла за рамки чисто технической сферы, охватывая весь технологический сектор. Главная текущая задача состоит в создании инструментов, способных идти в ногу с быстрым развитием интеллектуальных систем, не ограничивая при этом прогресс инноваций.



