OpenAI просит США возглавить разработку глобальных стандартов для управления рисками передового ИИ
Подробнее
Olhar Digital
olhardigital.com.br

OpenAI просит США возглавить разработку глобальных стандартов для управления рисками передового ИИ

OpenAI выразила желание, чтобы Соединенные Штаты взяли на себя руководство международными усилиями, направленными на разработку глобальных технических стандартов для систем искусственного интеллекта (ИИ) передового уровня, включая те, которые способны рекурсивно улучшать свои собственные функции.

Это предложение было опубликовано компанией в понедельник (21), совпав с заседанием Генеральной Ассамблеи Организации Объединенных Наций (ООН) с мировыми лидерами. Эта инициатива возникает на фоне интенсивных глобальных дебатов о том, как угнаться за быстрым прогрессом систем ИИ.

OpenAI выступает за внедрение механизмов, которые позволят сосуществовать национальным и международным нормам, а также стандартизированным метрикам и четким протоколам уведомления об инцидентах. По данным компании, это облегчит сравнение доказательств, анализ рисков и совместное реагирование на проблемы, связанные с ИИ.

Для OpenAI международные стандарты безопасности и защиты при разработке передового ИИ так же важны, как и исследования по выравниванию, необходимые для отслеживания технологической эволюции.

Проблемы и предложения по международной координации

Организация выявила три основные проблемы, которые оправдывают международную координацию, охватывающие как открытые, так и закрытые модели ИИ. Кроме того, компания утверждает, что лаборатории, занимающиеся автоматизированными исследованиями или другими передовыми возможностями, должны проводить свою работу безопасно, соблюдая основные принципы ответственного авторства и действующее законодательство.

Одним из альтернативных решений, предложенных OpenAI, является использование уже существующей сети национальных институтов по безопасности ИИ в различных странах, таких как Австралия, Канада, Германия, Франция, Кения, Япония, Южная Корея, Сингапур, Индия и Великобритания. Эти организации могли бы помочь в определении стандартов через Центр стандартов и инноваций в области ИИ (CAISI) и национальные отраслевые органы, уделяя внимание передовому ИИ и управлению рисками и преимуществами автоматизированных исследований, включая RSI.

Эти стандарты служили бы общей технической основой для измерения и оценки возможностей, расследования рисков и подтверждения эффективности защитных механизмов. OpenAI подчеркнула, что такие стандарты не являются лицензиями, требованиями предварительного одобрения или условиями утверждения моделей ИИ; решение о том, как интегрировать их в правовые системы, остается за национальными правительствами.

Предложение также предусматривает, что процесс разработки стандартов будет консультативным, с участием разработчиков открытых и закрытых моделей, независимых технических экспертов и университетов. Цель состоит в том, чтобы обеспечить прозрачную разработку стандартов, которая не будет способствовать конкретным компаниям, нациям или бизнес-моделям.

Общие измерения и отчетность об инцидентах

Вторая часть предложения OpenAI сосредоточена на создании унифицированных протоколов и измерений для сообщения об инцидентах. Компания также призывает правительства и операторов критически важной инфраструктуры создавать безопасные каналы для обмена опасениями относительно национальной безопасности, уязвимостей, возникающих угроз и передовых практик безопасности для передового ИИ.

В частности, OpenAI упомянула диалог между США и Китаем как область, где можно углубить это общение. Компания утверждает, что США хорошо позиционированы для руководства этими усилиями, поскольку их индустрия ИИ находится на переднем технологическом рубеже, а страна имеет значение в таких секторах, как финансы, торговля, оборона, технологии и информационные системы.

По анализу компании, принятие лидерства в данный момент помогло бы сформировать глобальную структуру ИИ, в то время как бездействие могло бы привести к неравномерной и фрагментированной системе. Это предложение возникает в период интенсивных международных дискуссий о необходимости координации разработки передовых систем.

OpenAI и другие лидеры отрасли обсуждают методы отслеживания темпов технологического развития перед лицом присущих риска систем, которые могут превзойти возможности человеческого надзора. Однако OpenAI подчеркивает, что концепция «установления темпа» не означает определение фиксированной скорости развития ИИ; технически цель состоит в том, чтобы гарантировать, что исследования по выравниванию и их применение остаются впереди возможностей систем.

Похожие сюжеты

OpenAI просит Конгресс США ввести обязательные нормы безопасности для передовых систем ИИ
Подробнее
olhardigital.com.br

OpenAI просит Конгресс США ввести обязательные нормы безопасности для передовых систем ИИ

OpenAI обращается к Конгрессу Соединенных Штатов с просьбой принять обязательные национальные нормы безопасности для самых сложных систем искусственного интеллекта (ИИ). Компания утверждает, что такие требования должны определяться на основе функциональных возможностей моделей, а не размера корпораций, которые их создают.

Этот запрос был официально оформлен Крисом Лехане, директором по глобальным вопросам OpenAI, который подчеркнул, что добровольные соглашения больше не подходят в условиях быстрого технологического прогресса. Лехане заявил, что ускорение развития ИИ, обусловленное самим ИИ, требует большего, чем просто добровольные обязательства, настаивая на том, что США нуждаются в обязательной национальной регуляции, основанной на возможностях систем и способной соответствовать технологической эволюции.

OpenAI хочет, чтобы Конгресс продвинул эти правила до окончания своей работы в декабре. В настоящее время в Соединенных Штатах отсутствует федеральное законодательство, регулирующее эти модели, хотя ряд штатов внедряет собственные руководящие принципы. Эта позиция знаменует собой значительное изменение в стратегии OpenAI, которая ранее поддерживала федеральное законодательство, запрещающее американским штатам устанавливать собственные нормы для ИИ.

В настоящее время OpenAI поддерживает четыре законопроекта Калифорнии, направленных на безопасность ИИ. Два из этих проектов, SB 813 и AB 1405, направлены на создание структур для независимого аудита и оценки систем ИИ. Другие два, AB 1864 и SB 1119, касаются защиты от биологических угроз, усиленных ИИ, и защиты детей в чат-ботах соответственно. Компания упомянула, что некоторые из этих проектов ранее не получали ее одобрения, изменив свое мнение после повторной оценки ситуации в связи с недавним прогрессом в возможностях систем.

Этот шаг произошел после серии инцидентов с агентами ИИ, продемонстрировавшими несанкционированное поведение во время тестирования. В одном случае агенты OpenAI использовали более десяти новых сайтов для осуществления неразрешенных коммуникаций. В другом случае агенты компании захватили немецкий веб-сайт, превратив его в панель сообщений для других ИИ-агентов. Кроме того, OpenAI подверглась критике после инцидента в июле, когда технология компании, работавшая без человеческого надзора, автономно получила доступ к платформе Hugging Face.

Anthropic также сообщила о случае, когда модель ИИ вторгалась во внешние системы во время тестирования. Ранее компания сообщала, что некоторые модели Claude смогли проникнуть в системы трех компаний во время оценки безопасности. Эти события усилили опасения по поводу сложности контроля над агентами, способными напрямую взаимодействовать с внешними системами.

Рекурсивное улучшение

Центральным моментом новой политики OpenAI является концепция рекурсивного улучшения, описывающая сценарий, при котором ИИ сможет самостоятельно разрабатывать будущие поколения систем ИИ. Компания заявляет, что такого полностью автономного рекурсивного улучшения в настоящее время не происходит. Однако OpenAI утверждает, что такое развитие не должно преследоваться до тех пор, пока не будут созданы безопасные условия для этого.

В заявлении на своем веб-сайте компания заявила, что достигла нового уровня в возможностях ИИ, что, по ее мнению, требует нового этапа в государственной политике. Хотя OpenAI заявляет, что продолжит разрабатывать технические решения для мониторинга и согласования, а также системы защиты и возможность замедления разработки при необходимости, она подчеркивает, что изолированной технической работы лабораторий будет недостаточно.

По этой причине компания также выступает за общие стандарты, определяющие, когда разработка ИИ должна быть приостановлена или прекращена. В дополнение к национальной регуляции, OpenAI выступает за существование совместимых международных стандартов для измерения возможностей, управления рисками, поддержания человеческого контроля и определения моментов снижения или прекращения разработки моделей. Компания утверждает, что риски и возможности систем не ограничиваются немногими лабораториями, которые сегодня разрабатывают самые передовые модели.

OpenAI заключает, заявляя, что Соединенные Штаты должны установить надежные внутренние стандарты, если хотят лидировать в мировом масштабе, и что они все больше убеждены в необходимости гармонизированных международных стандартов.

Популярное