Министерство электроники и информационных технологий представило руководство DEPA для безопасного обмена данными в обучении ИИ

Совет по безопасности данных Индии (DSCI) выпустил отраслевое руководство по ответственности за искусственный интеллект, ориентированное на Индию, касающееся агентного ИИ. Данный документ может существенно помочь в определении того, кто несет ответственность, если агент выйдет из-под контроля или нарушит свои обязанности.

Вместо того чтобы предлагать новые стандарты, данное руководство разъясняет, как существующие обязательные доктрины применяются к автономным системам ИИ от нескольких поставщиков и показывает, где именно находится ответственность на протяжении всей цепочки создания ценности, которая приводит ИИ в использование.

В нем рассматриваются области применения агентного ИИ, виды воздействия и риски, которые могут создать эти системы, а также факторы, определяющие подотчетность. Кроме того, в документе объясняется, почему для Индии важен пропорциональный и четко распределенный подход к управлению, надзору и ответственности, чтобы направлять отрасль пользователей и ускорять ответственное внедрение ИИ.

В отчете отмечается, что определение ответственности будет играть важную роль в зависимости от того, где модели размещены, а также кто ими владеет и контролирует. Выбор хостинга по-разному распределяет ответственность. Архитектура и выбор хостинга определяют, будет ли ответственность распределена по всей цепочке создания ценности или сконцентрирована внутри предприятия, что порождает центральный парадокс развертывания ИИ в корпоративной среде. Контроль архитектуры и владение пространствами принятия решений устраняют внешний щит ответственности, и, вероятно, предприятия станут основными юридическими владельцами как инфраструктуры, так и поведения агента.

Ответственность, по сути, лежит на пяти группах, которые используют ИИ: организации-пользователи, поставщики услуг и интеграторы, продуктовые компании и стартапы, поставщики инструментов и фреймворков, поставщики облачных и инфраструктурных решений, а также поставщики моделей.

В руководстве предостерегают от рассмотрения ответственности как бинарного выбора между конечной организацией-пользователем и участниками цепочки создания ценности. Они предупреждают, что представление этого выбора как либо «или», либо «или» между конечным пользователем и вышестоящим участником цепочки создания ценности будет юридически ошибочным, технически неточным, коммерчески парализующим и подорвет равные условия игры.

Кроме того, в отчете указывается, что ИИ проникает в предприятия различными путями, такими как браузеры, помощники (co-pilots), генеративный ИИ в корпоративном программном обеспечении, а также модели и инструменты ИИ. Каждый из этих путей несет свой собственный вопрос об ответственности, поэтому каждый путь требует внимания и тщательного изучения. Неизвестные или неидентифицированные риски могут привести к тому, что предприятие понесет ответственность, не имея возможности принять меры.

Регулятор телекоммуникаций Индии, Trai, в пятницу выпустил проект структуры для ответственного использования искусственного интеллекта (ИИ). Согласно этому проекту, лицензированные организации, действующие в рамках Закона о телеграфе или Телекоммуникационного акта, должны нести ответственность за результаты работы систем ИИ, которые они внедряют, независимо от того, где эти системы были разработаны.

Этот широкий проект, представленный для консультаций, обязывает компании принимать политики ИИ, утвержденные советом директоров, создавать специальные комитеты по управлению и безопасности, а также сообщать регулятору о серьезных инцидентах, связанных с ИИ. Стейкхолдерам предоставляется возможность оставить комментарии до 27 ноября.

Консультации проводятся на фоне растущей интеграции ИИ в сети для повышения эффективности и в услуги, предлагаемые потребителям. Trai предупреждает, что внедрение ИИ может создать новые риски, если не будет проведена должная проверка перед запуском систем или недостаточный надзор за автономным обучением и системными взаимодействиями.

Регулятор отметил, что такие риски, как непреднамеренная предвзятость, которая может возникнуть в системах ИИ во время обучения и использования, нежелательное поведение моделей, например, дрейф модели, и атаки противника, могут негативно сказаться на устойчивости телекоммуникационной инфраструктуры, особенно ее критических компонентов. Эти риски можно снизить путем соблюдения соответствующих практик управления ИИ.

Индийские поставщики телекоммуникационных услуг, включая Reliance Jio и Bharti Airtel, уже используют ИИ в своих системах в больших масштабах, в основном для идентификации клиентов и предотвращения мошенничества. Глобальные производители сетевого оборудования, такие как Nokia и Ericsson, также интегрируют ИИ в сети, что принимают и индийские операторы.

Предложения Trai включают требование к каждой организации разрабатывать внутреннюю политику ИИ, одобренную ее советом директоров или эквивалентным управляющим органом. Эта политика должна охватывать классификацию рисков, разрешения на развертывание, управление инцидентами, человеческий надзор, управление данными и разрешение жалоб потребителей. Кроме того, регулятор предложил, чтобы все системы ИИ подлежали соответствующему человеческому контролю для снижения рисков согласно заранее определенному механизму.

Телеком-компании и авторизованные организации, использующие ИИ, должны классифицировать свои системы по категориям высокого, среднего и низкого риска, основываясь на их значении для сетевых операций, финансовых и операционных результатов, а также потенциальных последствиях для потребителей.

Важным аспектом является то, что предложения направлены на привлечение организаций к ответственности за результаты работы внедренных систем ИИ, «независимо от того, были ли системы ИИ разработаны внутри, закуплены/аутсорсингованы у третьей стороны или представляют собой комбинацию этих вариантов».

Инциденты, связанные с ИИ, должны быть классифицированы по категориям критической, высокой, умеренной и низкой степени тяжести, при этом обязательное сообщение требуется для инцидентов критической и высокой степени тяжести. Регулятор указал, что «инциденты ИИ критической и высокой степени тяжести должны быть сообщены в TRAI в предписанном формате, порядке и сроки». Хотя регулятор не уточнил, что именно будет считаться критическим, высоким или низким уровнем тяжести, или срок, в течение которого должно происходить обязательное сообщение, телекоммуникационные компании также должны вести централизованные базы данных инцидентов ИИ и жалоб потребителей, связанных с ущербом от ИИ, с механизмами для расследования, смягчения и разрешения.

Искусственный интеллект ускоряет процесс обнаружения уязвимостей в программном обеспечении, сокращая время, отведенное на их исправление. Эксперты по кибербезопасности, опрошенные Reuters, прогнозируют новые перебои в работе цифровых сервисов, поскольку компании и правительства пытаются подготовиться к эксплуатации этих недостатков.

Исследование, проведенное компанией VulnCheck и запланированное к публикации в ближайшие дни, показывает, что количество обнаруженных цифровых уязвимостей удвоилось по сравнению с предыдущим годом. Проблемы, зарегистрированные на этой неделе на государственных сайтах в Европе, демонстрируют давление, которое могут вызвать подобные открытия.

Перебои начались в среду после обнаружения уязвимостей в PHP, языке программирования, который используется во многих частях интернета. Чтобы предотвратить атаки, операторы спешно занимались исправлением своих систем. Некоторые временно отключили сайты, поскольку не могли применить обновления до возможных вторжений.

Эта гонка за исправлениями произошла в неделю, которая уже была отмечена другими проблемами безопасности. Были раскрыты уязвимости в Node.js и Plex, а также инциденты, связанные с платформой искусственного интеллекта LiteLLM и платформой разработки Railway. Индийский сертификационный орган eMudhra также привлек внимание из-за использования крайне слабого криптографического ключа, что могло поставить под угрозу пользователей интернета.

Мэттью Принс, генеральный директор Cloudflare, заявил Reuters, что знает о других серьезных уязвимостях в программном обеспечении, жизненно важном для функционирования сети. По его оценке, сектор столкнется с трудными месяцами впереди. Он отметил: «Думаю, у нас будет несколько лет, когда каждую неделю будет казаться, что небо падает».

Ранее поиск уязвимостей в сложных программах требовал специализированных знаний. Разработка инструментов для их эксплуатации могла занимать недели или месяцы, предоставляя ответственным за системы время для подготовки исправлений и распространения обновлений. Однако искусственный интеллект сокращает этот промежуток времени. Модели способны непрерывно анализировать большие базы кода, находить проблемы и помогать разрабатывать инструменты для эксплуатации всего за несколько часов.

Шейн Фрай, технический директор RunSafe Security, подчеркнул изменение темпа этого процесса. Он заявил: «То, что фундаментально и неоспоримо меняется, — это время, необходимое как для обнаружения уязвимостей, так и для того, чтобы противники смогли их использовать».

В свете этой ситуации команды безопасности должны справляться с задачами, выходящими за рамки простого выявления ошибок в коде. Специалистов беспокоит сокращение времени реагирования, однако нет единого мнения о том, что ускоренное обнаружение уязвимостей приведет к волне успешных атак.

Даниэль Штенберг, ведущий разработчик инструмента передачи файлов curl, отмечает, что некоторые уязвимости, найденные моделями ИИ, являются сложными и трудноэксплуатируемыми. Рами Рахман из компании по безопасности ArmorCode также подчеркивает, что публикация большего числа уязвимостей не обязательно означает увеличение числа успешных атак. Случай с PHP служит примером этой разницы: компания по разведке угроз Hunt.io обнаружила агрессивные попытки эксплуатации, но сообщила, что к 14 часам четверга по восточному побережью США злоумышленники, которые отслеживались, по-видимому, еще не смогли разработать функциональный инструмент для использования этой уязвимости.

Принс сообщил о признаках вторжений, связанных с уязвимостью. Тем не менее, он считает, что ускоренное обнаружение проблем может принести долгосрочную пользу, позволяя исправлять ошибки, которые оставались скрытыми годами.