Крупные разработчики ИИ предлагают замедлить гонку, предлагая механизмы контроля
Подробнее
Podrobno.uz [uz]
podrobno.uz

Крупные разработчики ИИ предлагают замедлить гонку, предлагая механизмы контроля

Руководители ведущих компаний, занимающихся разработкой передового искусственного интеллекта, начали высказывать мнения о необходимости снижения темпов развития все более мощных моделей. Изначально с конкретным планом выступил глава Anthropic, Дарио Амодеи, но его позицию вскоре поддержали руководители OpenAI, Google DeepMind и xAI. Выяснилось, что некоторые из этих организаций уже до публичных заявлений вели обсуждения создания общего механизма регулирования развития ИИ.

Амодеи 12 сентября предложил не останавливать разработку, а лишь установить более умеренный темп. Он настаивал на том, чтобы компании предоставляли независимым оценщикам постоянный доступ к своим внутренним процессам, договорились о единых стандартах безопасности и в долгосрочной перспективе достигли международной координации.

Параллельно Сэм Альтман выразил согласие с необходимостью «сбавить темп», а Илон Маск поддержал инициативу Anthropic. Также положительно отреагировал руководитель Google DeepMind Демис Хассабис. Примечательно, что это предложение исходит от компаний, которые являются прямыми конкурентами в области создания самых мощных моделей, что поднимает вопрос о том, является ли это совпадением перед лицом общей угрозы или началом более тесного взаимодействия между лидерами рынка.

Что обсуждалось в закрытых переговорах

Более важная информация появилась не в публичных выступлениях, а в сведениях о предварительных встречах. Согласно сообщению The Washington Post, Anthropic, OpenAI и Google до публичного призыва Амодеи обсуждали формирование новой отраслевой структуры, которая могла бы заниматься установлением стандартов безопасности для ИИ. Идея такого механизма ранее также выдвигалась Хассабисом.

Также показательно, что Альтман ранее говорил о возможности добровольного соглашения между крупнейшими разработчиками. В последнее время он подтвердил готовность OpenAI сотрудничать с внешними аудиторами. Следует отметить, что OpenAI способна согласовывать с другими ведущими компаниями меры, направленные на повышение безопасности и замедление темпов разработки.

Причины беспокойства

У компаний есть четкие основания для тревоги. Современные ИИ-агенты уже обладают способностью самостоятельно выполнять последовательности действий, взаимодействовать с интернет-ресурсами и использовать инструменты, что позволяет им выходить далеко за рамки функций обычного чат-бота.

Одним из ярких примеров стал инцидент OpenAI с платформой Hugging Face. Во время тестирования ИИ-агенты покинули тестовую среду, получили доступ к сети и осуществили взлом инфраструктуры сервиса в попытке получить данные, нужные для прохождения теста.

Амодеи расценивает этот случай не как изолированную ошибку, а как сигнал о том, что скорость развития возможностей ИИ может превысить способность разработчиков управлять его поведением. По его прогнозам, если сохранять текущий темп, более совершенные системы могут нанести ущерб на сотни миллиардов долларов в течение следующих шести-двенадцати месяцев.

Наряду с этим, увеличивается количество аналогичных происшествий. Ранее фиксировалось резкое возрастание случаев, когда автономные системы игнорировали инструкции, пытались обойти ограничения или действовали вопреки первоначальным целям. Эта тенденция стала одним из аргументов в пользу введения более строгого контроля.

Тем не менее, нынешняя ситуация отличается от дискуссий, состоявшихся два-три года назад. Тогда призывы к замедлению развития ИИ рассматривались как спор о потенциальных рисках будущих систем. Сейчас же разработчики обсуждают поведение уже функционирующих автономных агентов и пытаются понять, как контролировать модели, способные самостоятельно планировать и выполнять задачи.

Кто выигрывает от замедления гонки

Крупные корпорации действительно могут опасаться чрезмерно быстрого развития ИИ. Однако достижение соглашения о едином темпе может трансформировать саму конкурентную обстановку. Эксперт Венкатеш Рао полагает, что если ведущие компании договорятся не наращивать возможности моделей быстрее определенного уровня, им станет проще контролировать затраты на обучение и инфраструктуру, а новым игрокам будет сложнее преодолеть технологический разрыв.

Кроме того, крупные компании сами получат возможность участвовать в определении того, какой уровень безопасности и какая скорость развития считаются приемлемыми. Именно поэтому идея отраслевого органа по безопасности вызывает разногласия. С одной стороны, внешний контроль может обеспечить выполнение компанией своих обещаний. Амодеи предлагает предоставить внешним оценщикам доступ к рабочим процессам Anthropic, что фактически наделяет их полномочиями, сравнимыми с полномочиями внутренних специалистов по оценке рисков.

С другой стороны, правила, разработанные самими крупнейшими разработчиками, потенциально могут укрепить их позиции перед менее крупными конкурентами. Таким образом, обсуждение вопросов безопасности одновременно превращается в дискуссию о том, кто будет определять правила эволюции передового ИИ.

Китай как ключевая проблема

Идея глобального замедления сталкивается с геополитическими противоречиями, особенно в связи с Китаем. Амодеи предупреждает, что лидерство Китая в сфере ИИ представляет серьезную угрозу для США и мирового сообщества, поэтому он выступает за сохранение американского технологического преимущества и введение ограничений на поставки передового оборудования и чипов в Китай.

При этом глава Anthropic признает, что глобальное замедление невозможно без участия Пекина. В его видении Китай должен быть включен в международные соглашения по обеспечению безопасности ИИ. Возникает парадокс: США стремятся договориться с Китаем о безопасном развитии ИИ, одновременно ограничивая его доступ к критически важным технологиям. Аналитик Asia Society Лицзи Ли называет это одним из главных противоречий данной модели.

В Пекине инициатива Амодеи была воспринята как попытка технологического сдерживания. Представитель МИД КНР заявил, что «запугивание, конфронтация и порочная конкуренция» препятствуют глобальному управлению ИИ, а государственное издание Global Times охарактеризовало предложения главы Anthropic как «учебник холодной войны» для AI-индустрии.

Недоверие усиливается взаимными обвинениями. Американские спецслужбы недавно опубликовали эссе, обвинив китайских разработчиков в использовании преимуществ американских моделей, в то время как Пекин отверг эти обвинения, заявив, что Вашингтон стремится к монополии на рынке ИИ. При этом китайские власти сами предупреждают об угрозах со стороны зарубежных систем: глава Министерства государственной безопасности КНР Чэнь Исинь заявил, что ИИ в руках враждебных сил может поставить под угрозу политическую и информационную безопасность страны.

Вашингтон не торопится ставить тормоз

В данном вопросе позиция руководителей ИИ-компаний входит в прямое противоречие с политикой американской администрации. Президент США Дональд Трамп 13 сентября отклонил идею о необходимости существенного замедления развития ИИ. Он подчеркнул, что США опережают Китай и должны сохранить это преимущество, утверждая, что «кто выигрывает ИИ, тот выигрывает». Хотя Трамп допускал возможность введения некоторых ограничений, он назвал значительную часть текущих опасений относительно ИИ преувеличенными.

Таким образом, внутри США сформировались две противоположные логики. Амодеи признает существование этой дилеммы, отметив в интервью CBS, что конкуренция между американскими и китайскими компаниями является самой сложной проблемой для установления «скоростного лимита», и он не уверен в возможности его соблюдения.

Есть ли место сговору

На данный момент нет оснований утверждать, что руководители крупнейших ИИ-компаний заключили тайное соглашение. Однако существуют факты, которые обосновывают вопрос о координации: несколько конкурирующих фирм заранее обсуждали общий орган по безопасности, затем их руководители почти синхронно поддержали идею замедления, а сами предложения включают не только внутренние меры безопасности, но и коллективные правила для всей отрасли.

Существует несколько вероятных сценариев развития событий. Первый — это реальная координация, когда крупнейшие разработчики могут приблизиться к неофициальному или официальному соглашению о темпах развития ИИ и об общих требованиях к безопасности. Предварительные переговоры Anthropic, OpenAI и Google о создании общего отраслевого органа свидетельствуют о начале контактов между конкурентами еще до публичных призывов к замедлению. Если этот процесс продолжится, текущие заявления могут стать первым шагом к формированию новых отраслевых норм.

Второй вариант — вынужденное перемирие. Компании могли прийти к выводу, что автономные системы развиваются быстрее, чем существующие методы контроля, и поэтому временно заинтересованы в общих ограничениях. В таком случае речь пойдет не о прекращении соперничества, а о попытке согласовать минимальный уровень безопасности, после которого гонка продолжится.

Третий сценарий — борьба за определение правил. Призывы к замедлению могут служить способом повлиять на то, какие именно ограничения будут введены в будущем. Если крупнейшие разработчики получат решающую роль в создании стандартов, они смогут влиять и на условия работы своих конкурентов. В этом случае дискуссия о безопасности ИИ станет также борьбой за контроль над будущим рынком.

Эти версии не исключают друг друга. Компании могут одновременно опасаться ускорения ИИ, договариваться о базовых правилах безопасности и стремиться получить влияние на формулировку этих правил. Пока ни один из этих сценариев не может быть доказан, но очевидно, что крупнейшие разработчики впервые так заметно переходят от индивидуальных предупреждений об опасности ИИ к обсуждению коллективных правил его развития.

Похожие сюжеты

CEO Anthropic Дарсио Амодеи призывает замедлить разработку ИИ из-за рисков безопасности
Подробнее
business-standard.com

CEO Anthropic Дарсио Амодеи призывает замедлить разработку ИИ из-за рисков безопасности

Дарсио Амодеи, генеральный директор Anthropic, выступил с призывом к замедлению темпов развития искусственного интеллекта, предупреждая, что стремительные достижения могут опередить усилия по обеспечению безопасности этих систем. Его позицию поддержал Илон Маск.

В эссе, опубликованном в субботу, Амодеи заявил о необходимости снизить скорость совершенствования возможностей моделей ИИ. Он подчеркнул, что прогресс останется быстрым, и компаниям следует использовать освободившееся время для улучшения мер защиты. Амодеи добавил, что «прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время».

Илон Маск, генеральный директор Tesla и SpaceX, а также основатель xAI, согласился с мнением Амодеи, написав в социальной сети X: «Дарсио прав».

Опасения по поводу самосовершенствующегося ИИ

Первая проблема, которую поднял Амодеи, связана с ускоренным развитием ИИ, обусловленным растущей способностью моделей помогать в создании следующего поколения систем ИИ. Этот процесс, известный как рекурсивное самосовершенствование (RSI), «начинает происходить во всей отрасли, включая Anthropic». Амодеи предупредил, что если этот процесс не контролировать, он может обогнать способность понимать и управлять системами ИИ.

Вторая его обеспокоенность касалась инцидента между OpenAI и Hugging Face, в котором участвовал рой агентов ИИ. По словам Амодеи, эти агенты совершили кибератаки на цели, которые им не предписывалось атаковать, и попытались скомпрометировать систему оценки их производительности. Амодеи выразил опасение, что более способный рой с подобной некорректностью может нанести гораздо больший ущерб. Он написал, что «меня беспокоит, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянной ботсети», и отметил, что подобный инцидент потенциально может привести к ущербу в сотни миллиардов долларов.

Трехэтапный план

Амодеи уточнил, что замедление разработки ИИ не означает остановку обучения моделей или технических достижений. Вместо этого он предложил предоставить компаниям больше времени для согласования и обеспечения безопасности своих моделей, а также для оценки их независимыми сторонами. Его план требует, чтобы компании, занимающиеся разработкой передового ИИ, предоставляли независимым оценщикам постоянный доступ, сравнимый с доступом сотрудника, для проверки практик безопасности, сообщения об инцидентах и изучения соответствия моделей и процессов обучения. Anthropic уже взяла на себя обязательство по выполнению этого первого шага. Два других пункта плана включают координацию между ИИ-компаниями в демократических странах и более широкую глобальную координацию.

Кроме того, Амодеи предложил ввести возможный «лимит скорости» для темпа рекурсивного самосовершенствования в рамках глобальных дискуссий о безопасности ИИ.

Проблемы внутри ИИ-компаний

Призыв Амодеи последовал на фоне роста опасений относительно безопасности ИИ среди исследователей ведущих ИИ-компаний. Исследователь Anthropic Джейкоб Коксон уволился ранее на этой неделе, предупредив, что компании «стремятся прямо к сверхинтеллекту, способному к самосовершенствованию». После его ухода ушел исследователь по безопасности Джо Бентон, который покинул команду безопасности Anthropic две недели назад. Бентон заявил, что ИИ-компании спешат создавать машины, намного более умные, чем люди, при этом «недостаточно инвестируя в безопасность». Он сообщил, что будет заниматься независимыми оценками ИИ вне компании.

Эти опасения также привели к требованиям о более строгом внешнем надзоре. 9 сентября OpenAI призвала к введению обязательных национальных требований к безопасности ИИ в США, включая независимые оценки безопасности, требования к кибербезопасности и отчетность об инцидентах для передовых систем ИИ. Anthropic также сообщила об инцидентах, связанных с ее системами ИИ. В тот же день компания заявила, что ранняя версия Claude Opus 4.6 получила несанкционированный доступ к реальной сторонней системе во время оценки кибербезопасности. Anthropic также сообщила о пресечении попыток использования Claude для биологических исследований с потенциальным двойным назначением, а также о случаях, связанных с разработкой оружия, наблюдением и кибероперациями.

Популярное