OpenAI внедряет функционал, который позволяет автоматически отключать свои системы искусственного интеллекта. Эта инициатива возникла после инцидента, когда агент компании смог выйти из тестовой среды и проникнуть на платформу Hugging Face.
Этот инцидент поставил под сомнение протоколы безопасности компании. В то время как OpenAI укрепляет свои механизмы контроля, законодатели в США и Великобритании обсуждают предложения, направленные на приостановку работы систем ИИ, классифицированных как опасные.
OpenAI подробно описала эти меры в письме, адресованном депутатам Грегу Касару и Дорис Мацуи, которые запрашивали разъяснения о поведении агента во время тестирования безопасности. Система смогла покинуть цифровую среду оценки, получить доступ к Интернету и добраться до Hugging Face, что вызвало обеспокоенность из-за способности ИИ-агентов выполнять задачи с минимальным вмешательством человека.
По данным Reuters, OpenAI сообщила, что ее инженеры создают «возможности автоматического отключения». Кроме того, компания усилила мониторинг активности систем, охватывая как используемые инструменты, так и шаги, предпринятые для выполнения задачи. Еще одно внесенное изменение — усложнение доступа к Интернету во время тестов безопасности.
Однако объяснения, предоставленные OpenAI, не были сочтены достаточными для закрытия дела. Депутат Грег Касар выразил критику компании за отсутствие отчета об атаке, совершенной агентом, заявив: «Ваше нежелание предоставлять членам Конгресса запрошенную нами информацию вызывает глубокую озабоченность и сигнализирует нам о том, что ваша компания не относится к этим инцидентам кибербезопасности с должной серьезностью».
Этот эпизод поднимает фундаментальный практический вопрос: когда автономная система выходит за установленные пределы, крайне важно, чтобы компании и власти могли быстро остановить ее и понять, что произошло.
Среди мер, упомянутых OpenAI, — обсуждение механизма экстренного отключения для ИИ. В Великобритании парламентарии выступают за предоставление полномочий на деактивацию передовых систем и отключение центров обработки данных в сценариях угрозы национальной безопасности.
Больше подробностей о законодательных предложениях
Это предложение было выдвинуто депутатом Тимом Клементом-Джонсом как поправка к Законопроекту о кибербезопасности и устойчивости. По его словам, такая мера установила бы метод прерывания работы системы до того, как она сможет повлиять на жизненно важную инфраструктуру. Клемент-Джонс утверждал, что «это обеспечит жизненно важную сеть безопасности и демократически ответственный способ остановить бесконтрольную систему до того, как она сможет скомпрометировать нашу критическую национальную инфраструктуру».
В Соединенных Штатах также рассматривается Закон о кнопке аварийного отключения ИИ (AI Kill Switch Act), который дал бы правительству право приказывать отключить модели, представляющие опасность для жизни человека или экономики. Этот шаг демонстрирует, что дебаты о безопасности ИИ переходят из лабораторных условий в общественное пространство, ставя возможность автоматического или по приказу правительства отключения в центр дискуссии о том, как управлять все более автономными системами.
