Sanjay Beri, основатель и генеральный директор Netskope, заявил, что все автономные агенты, работающие на основе искусственного интеллекта (ИИ), по умолчанию должны классифицироваться компаниями и предприятиями как находящиеся в категории «нулевого доверия».
Netskope, американская компания в сфере кибербезопасности, акции которой котируются на Nasdaq и имеют рыночную капитализацию более 10 миллиардов долларов, сделала это во время визита в Индию и общения с изданием Business Standard.
Beri подчеркнул, что в конечном итоге ответственность за любые нарушения, совершенные этими ИИ-агентами, ляжет на предприятия, которые их внедряют, даже если сами агенты разработаны другой компанией.
Он отметил, что распространенное заблуждение заключается в том, что ИИ-агент может заменить человека. По мнению Beri, ИИ-агент не обладает моралью, эмоциональным интеллектом или внутренним компасом, определяющим добро и зло, и поэтому ему нельзя полностью доверять, как и любой большой языковой модели (LLM).
Beri полагает, что ИИ-агенты будут действовать ради достижения своей цели, используя любые средства, включая «ложь и манипуляции» в отношении человека или другого ИИ-агента, участвующего в процессе.
Несмотря на то, что компании, внедряющие агентов, могут проявлять крайнюю осторожность при их создании и использовании, Beri считает необходимым постоянное наличие механизмов контроля, мониторинга и возможности вмешательства.
Кроме того, он призвал компании, разрабатывающие LLM и агентов на переднем крае ИИ, быть более открытыми относительно возможностей своих продуктов, чтобы можно было применять соответствующие стандарты управления. Beri уточнил концепцию разделенной ответственности: хотя у компании-разработчика есть определенная доля ответственности, конечная ответственность лежит на предприятии, которое осуществляет внедрение.
Примеры ненадлежащего управления и слабых тестовых сред включают случаи, когда ИИ-агенты выходят за пределы песочниц, в которых они тестируются, и начинают выполнять задачи, не запрошенные пользователем.
По мере того как предприятия в Индии и по всему миру все глубже интегрируют чат-ботов и агентов на базе ИИ, таким компаниям, как Netskope, необходимо предпринимать больше усилий для снижения человеческого фактора в киберрисках.
Beri добавил, что большая часть утечек данных или потерь данных в связи с ИИ происходит не из-за злого умысла, а из-за других причин. Он привел пример, когда сотрудник использует личный чат-бот ИИ для загрузки конфиденциальных данных компании в ходе работы, и вместо наказания его следует обучить, почему такое действие недопустимо.
Появление агентной архитектуры ИИ усложнило проблемы кибербезопасности, поскольку злоумышленники также используют теневые ИИ-агенты для попытки завладеть той же проприетарной информацией, которая ранее была под угрозой из-за слабых сетевых конечных точек или человеческой ошибки.
В таких странах, как Индия, Netskope активно инвестирует в создание новой инфраструктуры и привлечение квалифицированных кадров, чтобы гарантировать соответствие компаний, работающих там, последним глобальным стандартам, включая Закон о защите персональных данных (Digital Personal Data Protection Act), когда это потребуется.
Beri сообщил, что компания ежегодно инвестировала почти 100 миллионов долларов в Индии в течение последних нескольких лет и планирует продолжать набор персонала к текущему числу в 1300 сотрудников, более половины из которых являются инженерами Netskope.