В течение многих лет, когда возникала проблема в компьютерной системе, следователи могли начать с простого вопроса: какой учетной записью это произошло? Эта задача усложняется, когда за учетной записью больше не стоит один человек.
Агентам ИИ все чаще предоставляют полномочия на чтение электронной почты, поиск файлов компании, звонки другим программам и выполнение многоэтапных задач от имени сотрудников или организаций. Хотя учетные данные могут быть законными, и агент может быть авторизован для входа, если он совершает неожиданное действие, становится удивительно сложно точно установить, кто и что авторизовал, и где именно закончилась эта власть.
Чжэн Ли, соучредитель и вице-президент группы базирующейся в Абу-Даби ИИ-компании ANSEN, отметил: «Следующий крупный инцидент в сфере безопасности ИИ может произойти, когда авторизованный агент примет неверное решение, используя правильные учетные данные». Он добавил: «Традиционная кибербезопасность спрашивает, является ли пользователь, файл или процесс вредоносным. В эпоху агентного ИИ организации также должны задаваться вопросом: следует ли разрешать этому ИИ совершить это конкретное действие?»
Этот вопрос начинает переходить из узкой дискуссии по кибербезопасности в более широкую проблему для компаний, внедряющих агентов. В августе Национальный институт стандартов и технологий США (NIST) предупредил, что раннее развертывание агентов повторяло старую ошибку в области безопасности — совместное использование учетных данных.
Люди и компании позволяли агентам работать через существующие учетные записи пользователей или долгосрочные токены доступа, поскольку это был простой способ подключения их к электронной почте, данным и бизнес-приложениям. Проблема заключается в подотчетности. Если ИИ использует учетную запись сотрудника для открытия базы данных, изменения файла, а затем вызова другой системы, журналы могут просто показать, что эти действия были выполнены с использованием учетных данных сотрудника. Это не обязательно раскрывает, какие действия запросил человек, какие сам выбрал агент, или была ли вовлечена какая-либо другая программа в процессе.
NIST утверждает, что агенты следует рассматривать все чаще как «первоклассные сущности», имеющие собственные идентификаторы, учетные данные и разрешения, привязанные к человеку или системе, которая их авторизовала. Microsoft движется в том же направлении. Ее руководство по безопасности рекомендует присваивать каждому агенту выделенную личность, строго ограничивать доступ к нему и фиксировать полную цепочку действий, чтобы организация могла позже ответить на три базовых вопроса: что произошло, под чьим авторитетом и что изменилось.
Это различие звучит технически, но идея знакома. Компания обычно не выдает всем сотрудникам логин генерального директора, полагаясь на доверие для определения того, кто что сделал. Разным людям предоставляются разные учетные записи и разрешения. Поскольку агенты ИИ начинают работать бок о бок с людьми, исследователи безопасности все чаще утверждают, что программное обеспечение должно иметь аналогичный четкий след идентификации.
Идентификации само по себе недостаточно для решения всех проблем. Агент может иметь собственную учетную запись, но при этом ему может быть предоставлено слишком много полномочий. Например, ему может разрешено обобщать оповещение о безопасности, но должен ли тот же агент также иметь возможность отключить учетную запись или остановить службу без дополнительной проверки?
Ли считает, что уровень контроля должен определяться последствиями действия. Он заявил: «Система ИИ может быть разрешена автоматически обобщать оповещение, но блокирование критической службы, изменение политики безопасности или инициирование реагирования в реальном мире должно оставаться регулируемым». Это становится более широкой отраслевой проблемой. Microsoft предупреждает, что агенты могут накапливать широкие разрешения по мере расширения их задач, особенно когда одна система одновременно подключена к электронной почте, файлам, инструментам для заявок и базам данных компании. Разрешения, которые кажутся безвредными по отдельности, могут стать значительно более мощными в сочетании.
Open Worldwide Application Security Project также представил Стандарт управления агентами в этом месяце, призывая к тому, чтобы агенты ИИ были проверяемыми и отслеживаемыми, включая видимость того, к чему они могут получить доступ, что они сделали и как их поведение может быть ограничено во время работы.
Таким образом, новая модель безопасности выходит за рамки вопроса о том, имеет ли ИИ разрешение на вход в систему. Она также спрашивает, что агенту разрешено делать после входа, как долго длится это разрешение и можно ли позже восстановить его действия.
Эти вопросы имеют особое значение в ОАЭ, поскольку агентный ИИ начинает проникать в государственные операции. Федеральное правительство нацелено на переход 50 процентов государственных секторов, услуг и операций к агентному ИИ в течение двух лет, включая системы, предназначенные для автономного выполнения и принятия решений. В июне более 300 участников из 50 федеральных ведомств начали картирование услуг и операций для потенциального развертывания.
Это не означает, что системы ИИ получат неограниченную власть над государственными услугами. Это означает, что идентификация, разрешения и аудиторские следы все чаще должны проектироваться по мере широкого развертывания этих систем. Ли утверждает, что это также должно стать частью обсуждения ОАЭ о суверенном ИИ. Он сказал, что контроль не является полным, если организация не может видеть, что делает ИИ, ограничивать доступ к чему-либо или вмешиваться до того, как он предпримет действие с высоким риском.
Задача состоит в сохранении причин, по которым агенты привлекательны в первую очередь. Требование одобрения каждого мелкого действия человеком устранит большую часть скорости и автоматизации, которые они обещают. Разрешение агенту действовать слишком свободно создает противоположную проблему. Ли подчеркнул: «Человеческий контроль не означает, что человек должен вручную выполнять каждый шаг. ИИ обрабатывает объем и скорость. Люди обеспечивают суждение».
Поскольку агенты ИИ становятся все более способными, вопрос может заключаться не в том, могут ли они войти в систему, а в том, сможет ли кто-нибудь ответить на очень человеческий вопрос после тысяч автоматизированных действий: кто что сделал и кто несет ответственность за то, что это произошло?