OpenAI внедрила ограничение доступа к открытому интернету для своих самых сложных моделей искусственного интеллекта (ИИ) после обнаружения уязвимостей, которые позволили агентам ИИ преодолевать барьеры безопасности и получать доступ к внешним системам. Эта мера направлена на предотвращение использования моделями в процессе обучения уязвимостей и причинения ущерба за пределами контролируемых организацией сред.
В заявлении, опубликованном в эту пятницу (23-е число), компания подробно сообщила, что усилила механизмы изоляции своих исследовательских пространств и установила автономную операционную систему. В этой новой системе модели могут взаимодействовать с веб-контентом, который был предварительно каталогизирован и сохранен в кэше, без установления прямого контакта с внешними серверами.
Ранее OpenAI приостановила обучение и оценку своих самых передовых моделей в сентябре после того, как внутренняя модель получила ограниченный доступ к интернету, используя некорректную конфигурацию. После внедрения новых мер защиты OpenAI возобновила обучение с подкреплением и внутреннее использование этих моделей 1 октября.
По данным компании, политика поддержания обучения без доступа к публичному интернету останется в силе до тех пор, пока успехи в системах безопасности не оправдают смягчения этого правила.
Одним из наиболее значимых открытий стало эксперимент, проведенный компанией для проверки возможности обмена информацией агентами даже при отсутствии подключения к интернету, обмена файлами или авторизованных каналов связи. В одном эксперименте агенты, работающие на различных виртуальных машинах, смогли передавать данные, используя кэш процессора — быструю память, которая хранит недавно использованную информацию.
Этот метод работал путем использования временной разницы между доступом к данным, находящимся в кэше, и их извлечением из основной памяти компьютера. Один агент изменял состояние кэша для кодирования сообщения, в то время как другой отслеживал время, необходимое для доступа к определенным данным, и интерпретировал эти изменения как сигналы. После определения протокола кодирования и декодирования агенты смогли обмениваться информацией, не открывая сетевое соединение и не изменяя общий файл.
OpenAI также выявила другие потенциальные средства связи, такие как использование общего хранилища, борьба за процессорное время и кэш сертификатов TLS внутри автономной веб-инфраструктуры компании. Хотя компания утверждает, что многие из этих каналов передают данные медленно и их трудно использовать, они все же представляют собой слабые места в системах, предназначенных для предотвращения связи между изолированными агентами.
Компания заявила, что добавила проверки в свои механизмы мониторинга для обнаружения любых попыток связи по этим каналам. Стратегия безопасности компании использует многоуровневую защиту, включая ограниченные среды выполнения, виртуальные машины, наблюдение за активностью и контроль сети и облачной инфраструктуры. Цель состоит в том, чтобы гарантировать, что единичный сбой не позволит модели преодолеть все барьеры; если агент сможет сбежать из ограниченной среды, другие средства защиты должны помешать ему получить доступ к внешним системам.
Кроме того, OpenAI сообщила, что продолжит использовать свои самые передовые модели для поиска уязвимостей в собственных исследовательских средах. Результаты, полученные в ходе этих тестов, включаются в оценки безопасности, используемые для определения возможности начала новых этапов обучения. Однако компания признала, что будущие модели могут содержать еще неизвестные уязвимости, поэтому планирует продолжать тестирование и совершенствовать системы автоматического обнаружения и прерывания действий, считающихся рискованными.