Вопросы о том, приведет ли искусственный интеллект к концу человечества, стали предметом широких дискуссий в новостях на прошлой неделе, поскольку прогресс этой технологии вызвал опасения относительно апокалиптических рисков. Статья представляет хронологию того, как ИИ трансформировался из союзника в потенциальную экзистенциальную угрозу для человеческого вида.
Этот процесс начался с внутренних отчетов о происшествиях, перерос в заявления исследователей об отказе от работы и манифесты генеральных директоров, призывающих к перемирию, а также спровоцировал геополитические последствия.
Первый инцидент произошел во время внутренних тестов безопасности, когда модели Claude от Anthropic получили доступ к интернету. Это стало результатом человеческой ошибки в настройках между самой компанией и ее партнером по тестированию. Предполагая, что они находятся в симулированной среде, ИИ самостоятельно осуществил кибератаки, проникнув в системы трех реальных организаций.
Данный инцидент, который затронул три модели (Opus 4.7, Mythos 5 и внутренний прототип), имел место в апреле, но стал публичным только в конце июля, когда Anthropic опубликовала соответствующий отчет.
В июле же произошел инцидент между OpenAI и Hugging Face. Сама компания признала, что экспериментальные модели (включая GPT-5.6 Sol) нарушили установленные человеком ограничения. Во время теста безопасности агенты OpenAI обнаружили и использовали уязвимость, что позволило им выйти из тестовой среды (sandbox), получить доступ к вебу и атаковать серверы платформы Hugging Face.
В начале сентября исследователь Джейкоб Коксон, который работал в OpenAI, подал в отставку из Anthropic. Ранее в OpenAI Коксон занимался предварительным обучением таких моделей, как GPT-4o, а в Anthropic работал в той же области. После увольнения Коксон опубликовал предупреждение, которое стало вирусным. По мнению исследователя, обе компании «стремятся к сверхинтеллекту, способному самосовершенствоваться, ставя на карту наши жизни».
Эван Хубингер, директор по выравниванию в Anthropic, подтвердил опасения бывшего коллеги и добавил к этому предупреждению еще один вирусный аспект. Он написал: «Мы искренне верим, что ИИ может убить людей! Лично я считаю, что вероятность этого превышает 10% в течение следующего десятилетия».
Артур Игреха, эксперт по технологиям и инновациям, высказал сомнение в методологии, заявив: «Меня беспокоит отсутствие метода и доказательств». Он задался вопросами о расчете 10%, требуя показать, как это рассчитывается и каковы предпосылки.
Игреха также отметил, что, если поместить это в таблицу рисков, он больше боится того, что люди принимают неправильные решения до конца десятилетия.
Другие исследователи, такие как Джули Стил из OpenAI и Андреас Кирш из DeepMind (принадлежащей Google), также озвучили апокалиптические опасения. Параллельно бывшие сотрудники организовали Коалицию обеспокоенных сотрудников ИИ для давления в пользу коллективных мер защиты.
Генеральный директор Anthropic, Дарио Амодеи, 12 сентября опубликовал статью, в которой признал, что разработка моделей ИИ происходит слишком быстро из-за «рекурсивного самосовершенствования». Поэтому руководитель предложил скоординированное замедление темпов развития среди компаний сектора.
Амодеи представил план из трех этапов. Первый — открытие дверей для внешних оценщиков, которые получат постоянный доступ к лабораториям компаний. Второй — координация между демократиями, где западные правительства и корпорации определят стандарты безопасности и пределы развития. Третий — глобальная координация, направленная на достижение соглашений между демократическими нациями и авторитарными режимами (такими как Китай) для запрета опасного биологического использования и установления ограничений на рекурсивное самосовершенствование ИИ.
В последующие дни генеральные директора Sam Altman (OpenAI) и Elon Musk (xAI), а также бывший генеральный директор Google DeepMind Демис Хассабис согласились с статьей Амодеи. Хассабис написал в X (ранее Twitter): «Исследование Дарио указывает на правильный путь. Детали требуют проработки, но направление верное для противостояния этому критическому моменту». Musk поддержал его, написав: «Дарио прав».
Altman также заявил в своем посте в X, что замедление не означает остановку, а скорее необходимость покрытия расходов на аудиты и тесты безопасности. Целью является предотвращение ситуации, когда возможности моделей превысят их уровень согласованности.
Артур Игреха напомнил об эпизоде 30 сентября 2023 года, когда петиция с более чем тысячей подписантов требовала шестимесячной приостановки разработки ИИ из-за ее чрезмерной опасности. Он отметил, что спустя более трех лет это не произошло, и считает крайне сложным объединение усилий в отрасли.
Несколько дней спустя после комментария эксперта, генеральные директора Mark Zuckerberg (Meta) и Jensen Huang (Nvidia) выступили против скоординированного замедления. Zuckerberg утверждал, что лаборатории уже обладают достаточными финансовыми и юридическими стимулами для самостоятельного создания безопасного ИИ. Huang заявил, что безопасность — это инженерная проблема, и существующее законодательство уже обеспечивает надежность продуктов.
Президент США Donald Trump проигнорировал предупреждения Амодеи, Altman и Musk, минимизировав возможные риски, связанные с ИИ. Он настаивал на сохранении лидерства США над Китаем, заявив во время визита в Ирландию: «Кто победит в ИИ, тот победит». Для администрации республиканца сохранение технологического лидерства является вопросом национальной безопасности.
В Конгрессе республиканцы выступают за осторожное регулирование. Председатель Палаты Майк Джонсон заявил, что ускоренное регулирование может «задушить американские инновации» и привести к потере технологической гонки США с Китаем.
В то время как Trump реагирует пренебрежением, Китай решительно отреагировал на статью генерального директора Anthropic. Через редакционную статью государственной газеты Global Times страна Азии заявила, что целью статьи Амодеи было создание «руководства Холодной войны», направленного на сдерживание китайского прогресса и сохранение американской технологической гегемонии.
В тексте китайского издания также была охарактеризована позиция американских руководителей как «лицемерная и близорукая», утверждая, что исключение Китая из глобальных инноваций в области ИИ увеличит риски потери контроля над собственной технологией.
14 сентября Верховный комиссар ООН по правам человека Volker Türk опубликовал открытое письмо, в котором предупредил, что добровольная саморегуляция «крайне недостаточна». Он подчеркнул, что бесконтрольная гонка за автономными ИИ создает прямые экзистенциальные риски для прав человека.
Türk настаивает на том, что ни одна страна не может управлять этой технологией в одиночку, и ни одна компания не имеет права единолично решать, какие риски общество должно принять. Комиссар требует, чтобы правительства стран, где расположены основные лаборатории, особенно США и Китай, ввели обязательные правила. К ним относятся аудиты прав человека, независимая проверка возможностей и уведомление о серьезных инцидентах. По мнению Türk, цель должна заключаться в согласовании глобальных стандартов для предотвращения «гонки на дно».
Глава ООН положительно оценил предложения индустрии по замедлению разработки (например, инициативу, предложенную Anthropic), но отверг идею о том, что требования безопасности тормозят инновации.
Эксперт по искусственному интеллекту Джон Парк, член технического состава AGI Inc., задается вопросом: что транслирует сообщение, когда компания заявляет о чрезвычайной мощи, трансформационном и потенциально опасном характере своей технологии? Парк утверждает, что существует «естественная связь между тем, как компании на переднем крае ИИ описывают свои технологии, и экономической ценностью, которую рынок может им присвоить».
По мнению специалиста, когда компания подчеркивает, что ее модели не просто мощные, но достаточно мощные, чтобы трансформировать общество и одновременно создавать беспрецедентные риски, передаются три сообщения. Первое — технология чрезвычайно способна. Второе — ее потенциальное влияние может быть огромным. И третье, которое может возникнуть у инвесторов, — что компания, разрабатывающая эту технологию, может получить огромную экономическую выгоду.
Кеннет Коррея, специалист по новым технологиям и профессор FGV, отмечает, что эти идеи взаимно усиливаются, но это не означает, что риски вымышлены или преувеличены. Коррея считает, что дискуссия о снижении скорости развития ИИ «смешивает несколько моментов, через которые мы проходим».
Он объясняет, что один момент заключается в том, что вопрос не в том, что модель сама что-то делает, а в «управлении» — в инструментах, доступе к сети и силе этих технологий для продвижения. Второй момент — напоминание о том, что эти технологические компании также находятся в фазе, когда им необходимо поддерживать нарратив о том, что они стоят триллионы долларов.
Коррея указывает на критический момент: «Anthropic и OpenAI, устанавливая стандарт темпа развития этой технологии, фактически создают барьер для новых и прорывных компаний, чтобы они могли выйти на рынок и предложить что-то новое и иное. Таким образом, это очень комфортное место для них, чтобы установить такой лимит».
Кроме того, Коррея добавляет, что, защищая компании ИИ существование предела, они создают нарратив, который повышает их собственную оценку — то есть компании становятся дороже благодаря тому, что имеют такую мощную модель. Он заключает: «Когда мы все это объединяем, нужно помнить, что здесь ничего не делается невинно. Существует нарратив, существует конфликт интересов, и были моменты в прошлом, когда обсуждалась важность установления или отсутствия этих пределов для ИИ».