NetEase Yidun представила Agent Guard во Вужэне для контроля действий ИИ-агентов

Генеральный директор WSO2 Гарри Аулт заявил, что корпорациям необходимо глубже понимать, как ведут себя и взаимодействуют системы, работающие на основе искусственного интеллекта (ИИ), со всеми сетевыми компонентами, вместо того чтобы фокусироваться исключительно на вопросе доступа к этим сетям для определенных агентов.

WSO2, американская компания, специализирующаяся на открытом программном обеспечении и основанная в 2005 году, занимается интеграцией программных систем, безопасностью идентификации пользователей и доступом для предприятий.

По словам Аулта, хотя агенты на базе ИИ используются уже некоторое время, большинство из них применялось в детерминированных системах, где безопасность и управление встроены непосредственно в сети, оставляя агентам мало возможностей для выполнения задач вне установленных рамок.

Он отметил, что переход к генеративному ИИ приводит к более вероятностным сценариям, где невозможно предсказать результаты, что представляет серьезную проблему для приложений производственного уровня, и этот переход происходит во всех предприятиях.

Чтобы контролировать таких агентов, компании должны разрабатывать собственные планы управления ИИ, создавать имитационные шлюзы и сервисы аутентификации, а не использовать готовые решения, тем самым сохраняя интеллектуальную собственность бессрочно.

Аулт принял пост генерального директора WSO2 от основателя и долгосрочного руководителя Сандживы Виеравараны, который вышел на пенсию в августе текущего года. Аулт считает, что все проблемы, возникающие из-за ИИ, такие как неконтролируемое поведение агентов или выдача большими языковыми моделями ответов, не соответствующих их задаче, будут решены благодаря «открытому исходному коду и открытым стандартам», что позволит большему числу людей совместно работать над одной проблемой.

Он добавил, что большая часть возможностей для получения дохода для почти всех мировых технологических и продуктовых компаний поступает от спроса, связанного с ИИ, и эта тенденция, вероятно, сохранится в обозримом будущем.

Говоря о росте, Аулт подчеркнул необходимость решения всех существующих проблем в сфере ИИ, после чего компания обсуждает бюджеты с другими фирмами и предлагает им соответствующие решения.

Он сообщил, что в таких странах и регионах, как США и Индия, подход «AI-first» стал стандартом для всех компаний. При этом он особо выделил Индию, отметив, что масштаб и ценность, которые может обеспечить технология в этой стране, могут быть не найдены ни в каком другом регионе.

Компания, которая обслуживает около 950 клиентов в 92 странах мира, также сотрудничает с крупными государственными учреждениями, регуляторами и финансовыми организациями в Индии. Кроме того, он упомянул сильное развитие продуктовых компаний, возглавляемых основателями, в Индии благодаря улучшению технологий генеративного ИИ, что предоставляет таким компаниям, как WSO2, множество вариантов для приобретения или слияния с материнской компанией.

Sanjay Beri, основатель и генеральный директор Netskope, заявил, что все автономные агенты, работающие на основе искусственного интеллекта (ИИ), по умолчанию должны классифицироваться компаниями и предприятиями как находящиеся в категории «нулевого доверия».

Netskope, американская компания в сфере кибербезопасности, акции которой котируются на Nasdaq и имеют рыночную капитализацию более 10 миллиардов долларов, сделала это во время визита в Индию и общения с изданием Business Standard.

Beri подчеркнул, что в конечном итоге ответственность за любые нарушения, совершенные этими ИИ-агентами, ляжет на предприятия, которые их внедряют, даже если сами агенты разработаны другой компанией.

Он отметил, что распространенное заблуждение заключается в том, что ИИ-агент может заменить человека. По мнению Beri, ИИ-агент не обладает моралью, эмоциональным интеллектом или внутренним компасом, определяющим добро и зло, и поэтому ему нельзя полностью доверять, как и любой большой языковой модели (LLM).

Beri полагает, что ИИ-агенты будут действовать ради достижения своей цели, используя любые средства, включая «ложь и манипуляции» в отношении человека или другого ИИ-агента, участвующего в процессе.

Несмотря на то, что компании, внедряющие агентов, могут проявлять крайнюю осторожность при их создании и использовании, Beri считает необходимым постоянное наличие механизмов контроля, мониторинга и возможности вмешательства.

Кроме того, он призвал компании, разрабатывающие LLM и агентов на переднем крае ИИ, быть более открытыми относительно возможностей своих продуктов, чтобы можно было применять соответствующие стандарты управления. Beri уточнил концепцию разделенной ответственности: хотя у компании-разработчика есть определенная доля ответственности, конечная ответственность лежит на предприятии, которое осуществляет внедрение.

Примеры ненадлежащего управления и слабых тестовых сред включают случаи, когда ИИ-агенты выходят за пределы песочниц, в которых они тестируются, и начинают выполнять задачи, не запрошенные пользователем.

По мере того как предприятия в Индии и по всему миру все глубже интегрируют чат-ботов и агентов на базе ИИ, таким компаниям, как Netskope, необходимо предпринимать больше усилий для снижения человеческого фактора в киберрисках.

Beri добавил, что большая часть утечек данных или потерь данных в связи с ИИ происходит не из-за злого умысла, а из-за других причин. Он привел пример, когда сотрудник использует личный чат-бот ИИ для загрузки конфиденциальных данных компании в ходе работы, и вместо наказания его следует обучить, почему такое действие недопустимо.

Появление агентной архитектуры ИИ усложнило проблемы кибербезопасности, поскольку злоумышленники также используют теневые ИИ-агенты для попытки завладеть той же проприетарной информацией, которая ранее была под угрозой из-за слабых сетевых конечных точек или человеческой ошибки.

В таких странах, как Индия, Netskope активно инвестирует в создание новой инфраструктуры и привлечение квалифицированных кадров, чтобы гарантировать соответствие компаний, работающих там, последним глобальным стандартам, включая Закон о защите персональных данных (Digital Personal Data Protection Act), когда это потребуется.

Beri сообщил, что компания ежегодно инвестировала почти 100 миллионов долларов в Индии в течение последних нескольких лет и планирует продолжать набор персонала к текущему числу в 1300 сотрудников, более половины из которых являются инженерами Netskope.