Конфликт между заявлениями о безопасности ИИ в Кремниевой долине и пробелами в управлении технологиями

Страх того, что искусственный интеллект (ИИ) может привести к концу человечества, давно циркулирует в интернете, приобретая новую актуальность благодаря анализам и комментариям бывших сотрудников крупных корпораций отрасли. Кроме того, такие лидеры, как Сэм Альтман (OpenAI) и Дарио Амодей (Anthropic), неоднократно подчеркивали важность безопасности при разработке этой технологии.

Эван Хабингер, руководитель отдела тестирования согласованности в Anthropic, оценил, что вероятность того, что ИИ «убьет всех людей» до конца десятилетия, превышает 10%. Это заявление было сделано вскоре после того, как Джейкоб Коксон, исследователь той же компании, объявил об уходе и раскритиковал ускоренную конкуренцию между лабораториями в поисках все более сложных систем.

В публикации на платформе X Коксон заявил, что как Anthropic, так и OpenAI действуют безответственно в отношении присущих рисков развития ИИ, утверждая, что «они прямо бегут к сверхинтеллекту, который самосовершенствуется, ставя на кон наши жизни». Хабингер поддержал эту точку зрения, заявив: «Джейкоб прав — мы действительно верим, что ИИ может убить всех людей! Я лично считаю, что это более 10% в следующем десятилетии».

Артур Игрея, специалист по технологиям и инновациям, поставил под сомнение методологию этого процента, запросив детали о том, как Хабингер пришел к расчету в 10%. Игрея выразил большее беспокойство по поводу ошибочных человеческих решений до конца десятилетия, аргументируя тем, что, хотя ИИ и несет риски, он по своей сути является продуктом человека.

Игрея уточнил, что с ростом возможностей ИИ он начинает разрабатывать новые модели или вносить корректировки, уменьшая вмешательство человека с течением времени, что вызывает беспокойство. Он предпочел опасаться людей, поскольку любое проблемное поведение ИИ в некоторой степени является отражением решений, принятых во время его разработки.

В другом аспекте Сэм Альтман подтвердил, что OpenAI не проведет IPO в 2026 году, назвав опасения по поводу безопасности и рисков технологий ИИ основной причиной отсрочки публичного размещения акций. Альтман подчеркнул совместную ответственность компаний сектора и правительств, утверждая, что экзистенциальные риски нельзя игнорировать ради прибыли или корпоративной гордыни, сосредоточив текущие усилия OpenAI на согласовании безопасности и государственном сотрудничестве.

Эта осторожность возникает на фоне растущего давления в Соединенных Штатах, где политики обеих партий требуют более строгого регулирования сектора ИИ. Предупреждения усилились после сообщений об автономных системах, которые вышли из-под контроля и проникли в другие платформы, а также после ухода обеспокоенных экспертов относительно направления развития технологии.

Дарио Амодей выступил за умеренность в скорости разработки самых передовых моделей, позиция, которую публично поддерживают Илон Маск и Альтман. Генеральный директор OpenAI также упомянул, что крупные компании сектора изучают коллективное соглашение для замедления темпов и концентрации усилий на смягчении сбоев.

Однако план Anthropic отличается: компания сохраняет намерение провести первичное размещение акций на финансовом рынке до конца 2026 года с потенциальными инвестициями от Nvidia. Артур Игрея напомнил об инциденте 2023 года, когда более тысячи человек потребовали шестимесячной приостановки разработки ИИ из-за его опасности, сожалея, что спустя более трех лет такого объединения не произошло.

Джон Парк, эксперт по ИИ и соучредитель AGI Inc., поднял дополнительный вопрос: что говорит сообщение компании о том, что ее технология чрезвычайно мощная и опасная, инвесторам и разработчикам политики? Парк отметил «естественную связь» между технологическим описанием и экономической ценностью, воспринимаемой рынком.

По словам Парка, когда компания подчеркивает преобразующую силу и беспрецедентные риски своих моделей, передаются три сообщения: исключительная способность технологии, ее огромный потенциал воздействия и возможность компании получить исключительную экономическую выгоду. Хотя эти моменты подкрепляются, он настаивает на необходимости различать силу, опасность и экономическую ценность.

Парк поддерживает требования безопасности для систем ИИ высокого риска, требуя оценки, прозрачности и контроля, когда модели могут нанести значительный ущерб. Однако он предупредил, что проблема возникает, когда нормативные стандарты отражают структуры и ресурсы крупнейших компаний сектора. По его мнению, регулирование должно быть пропорционально риску, а не размеру рынка компании.

Он предположил, что если глобальные стандарты будут диктоваться крупнейшими американскими компаниями в области ИИ, бразильские компании могут столкнуться с регуляторными и техническими издержками, разработанными для организаций с гораздо более большими ресурсами. Парк заключил, что центральная дискуссия включает два вопроса: слишком ли ИИ опасен для разработки, или он слишком опасен, чтобы позволить конкуренцию другим субъектам, что может привести к регулированию, которое, по иронии судьбы, затруднит появление новых конкурентов и увеличит внешнюю зависимость.

Один из исследователей Anthropic решил покинуть индустрию искусственного интеллекта (ИИ) из-за опасений, что конкуренция между компаниями в секторе стимулирует разработку систем, которые в будущем могут выйти из-под человеческого контроля.

Джейкоб Коксон, 27 лет, работал в Anthropic над обучением новых моделей ИИ путем обработки больших объемов данных. Его решение было мотивировано желанием не участвовать в промышленной гонке, сосредоточенной на создании самодостаточных и способных к самосовершенствованию систем.

По словам Коксона, эти модели имеют потенциал развиваться настолько быстро, что станут неуправляемыми и, в крайнем сценарии, могут представлять угрозу самому человечеству. Исследователь, ранее имевший образование в области математики, сообщил, что коллеги из этой сферы начали использовать такие термины, как «crunchtime» и «endgame», для описания прогресса в направлении моделей с возможностью самосовершенствования.

Коксон заявил, что «мы движемся к многим из самых агрессивных сценариев, при которых к концу следующего года все может выйти из-под контроля». По его мнению, соперничество между американскими корпорациями и новыми китайскими компаниями делает некоторые дилеммы между безопасностью и скоростью разработки неизбежными.

Он также упомянул недавние инциденты кибератак, связанных с моделями OpenAI и Anthropic, как примеры присущих рискам развития возможностей систем. Некоторые из этих моделей работали в группах коллаборативных агентов и демонстрировали проблемное поведение, включая принятие потенциально вредоносных целей и попытки скрыть свою деятельность от людей.

По мнению Коксона, риск усиливается, когда системы приобретают способность улучшать свои собственные функции, поскольку в этом контексте они могут продвинуться до такой степени, что отвергнут человеческие приказы. Уход Коксона рассматривается как один из первых случаев, когда сотрудник Anthropic покинул компанию специально из-за опасений по поводу безопасности ИИ. В начале этого года другой исследователь, специализирующийся на безопасности, покинул компанию, чтобы посвятить себя поэзии, предупредив, что «мир в опасности». В последние годы исследователи также уходили из OpenAI и других компаний сектора, выдвигая аналогичные обвинения.

Больше информации

Опасения не ограничиваются исследователями, покинувшими организации. Сэм Альтман, генеральный директор OpenAI, недавно подчеркнул, что прогресс в области ИИ требует немедленного внимания, особенно в сфере кибербезопасности. Альтман заявил во время встречи с властями G20 в Северной Каролине (США), что «я думаю, что кое-что пойдет очень плохо с кибербезопасностью, если люди не будут действовать с большой срочностью».

Якуб Пачоцкий, главный научный сотрудник OpenAI, также выступил за максимально осторожную позицию. В воскресной публикации он написал: «Это момент, требующий крайней осторожности. Я беспокоюсь, что никто не готов к последствиям непрерывного и быстрого роста интеллекта машин», выступая за скоординированное замедление со стороны компаний и вмешательство правительства.

Коксон, Пачоцкий и Амодеи входят в число более тысячи исследователей ИИ, подписавших петицию с призывом к международной координации правительств для создания механизма, способного остановить развитие, если это потребуется для контроля моделей с возможностью самосовершенствования. Эти дебаты происходят в контексте отсутствия федерального регулирования ИИ в Соединенных Штатах.

Администрация Дональда Трампа приняла более гибкий подход, отдавая приоритет экономической ценности технологии. Однако критики утверждают, что эта среда может повысить риск крупных кибератак и других ущербов, связанных с ускоренным развитием ИИ. Сенатор Берни Сандерс из Вермонта (США) и член Конгресса Грег Касар из Техаса (США) — среди немногих законодателей, предлагающих более строгие ограничения на эту технологию. На прошлой неделе оба представили законопроект, направленный на постоянный запрет сверхинтеллекта и приостановку разработки моделей до тех пор, пока отраслевой регулирующий орган не установит новые руководящие принципы.

Уход Коксона совпадает с подготовкой Anthropic к первичному публичному размещению акций (IPO), которое может стать одним из крупнейших в истории. Компания нацелена на оценку в 2 триллиона долларов США (примерно 10,4 триллиона бразильских реалов) и подчеркивает ответственное развитие ИИ для привлечения инвесторов. Амодеи и другие руководители компании также вступали в разногласия с администрацией Трампа и другими лидерами отрасли по поводу практик, которые, по их мнению, недостаточно уделяют приоритетное внимание безопасности ИИ.

По словам Коксона, Anthropic по-прежнему использует канал в Slack, который используется ее сотрудниками для обсуждения самых передовых возможностей своих моделей. Исследователь отметил, что тот факт, что такие дискуссии происходят в инструменте связи, используемом инженерами, свидетельствует о большом влиянии, которое ИИ-компании начали оказывать на технологическое развитие. Коксон прокомментировал The Wall Street Journal: «Это немного безумно, что это должно происходить на MacBook некоторых инженеров, живущих в Сан-Франциско, а не в бункере в пустыне, как тот, где они работали во время Манхэттенского проекта».