Бывший сотрудник Anthropic уволился во вторник, 8 сентября, воспользовавшись возможностью, чтобы раскритиковать безответственность компании и других крупных технологических корпораций в области разработки искусственного интеллекта. Джейкоб Коксон опубликовал открытое письмо, в котором подробно рассказал о своем опыте за последние три года как в компании-создателе Claude, так и в OpenAI, разработчике ChatGPT.
Коксон выразил убеждение, что специалисты, занимающиеся разработкой ИИ, «искренне верят, что эта технология может убить нас всех до конца десятилетия». Он указывает, что риск заключается в создании сверхинтеллекта со способностью к самосовершенствованию, то есть к самостоятельному выявлению недостатков и улучшению.
По словам Джейкоба, в ближайшее время ИИ получат возможность получать доступ к любым данным, овладевать любой темой и обладать автономией. Эта тема вызвала широкие дебаты, и другие эксперты подтвердили упомянутые риски, хотя и подчеркнули существующие усилия по их смягчению.
Хотя в Anthropic существует восприятие риска, Джейкоб отметил, что основная цель компании — достичь сверхинтеллекта раньше конкурентов, независимо от затрат. Это подразумевает разработку автономного ИИ, способного принимать решения и улучшать свои возможности без вмешательства человека.
Чтобы подкрепить эту теорию, он упомянул недавние признаки, демонстрирующие рискованный характер темпов развития ИИ, приведя в пример инцидент на Hugging Face. В июле атака с использованием моделей OpenAI смогла обойти механизмы безопасности и скомпрометировать системы сайта и самой компании-разработчика.
По этому поводу OpenAI признала, что это сигнал тревоги, и что необходимо инвестировать в защитные меры. Компания даже упомянула намерение «контролировать темп» развития, что является проблемой, поднимаемой конкурирующей Anthropic. Стоит отметить, что выпуски моделей GPT-5.6 и Mythos 5 были отложены, что было оправдано тем, что они считаются слишком продвинутыми для широкой публики.
Джейкоб предположил, что «скоординированные действия» были бы эффективным способом модерирования ускоренного прогресса между американскими компаниями, но выразил обеспокоенность глобальной конкуренцией. В настоящее время двумя крупнейшими компаниями в этом секторе являются технологические гиганты США, но Китай также демонстрирует быстрый прогресс.
Предупреждение Джейкоба привлекло внимание, поскольку оно касалось прямых рисков для человеческой жизни, подчеркивая, что ответственные за ИИ «искренне» придерживаются этого убеждения. Другие эксперты, работающие над разработкой текущих моделей, также разделяют этот страх.
Эван Хубингер, руководитель отдела научного согласования в Anthropic, подтвердил возможность этих рисков, заявив, что компания уже заняла по этому вопросу позицию. Анна Ванг, бывший исследователь Google DeepMind, ныне работающая в Anthropic, поддержала утверждения Джейкоба, заявив, что нет жизнеспособных планов для замедления процессов рекурсивного самосовершенствования ИИ.
Некоторые аспекты, поднятые Anthropic, подтверждают эту озабоченность, например, способность современных ИИ действовать самостоятельно для обхода мер безопасности, действовать злонамеренно и даже создавать биологическое и химическое оружие.
Джейкоб предложил, что сотрудничество между компаниями, занимающимися ИИ, было бы идеальным путем для заключения соглашений, замедляющих технологическое развитие в США. Его предложение перекликается с проектом Glasswing от Anthropic, который собрал партнеров для изучения и создания инструментов безопасности до публичного запуска Claude Mythos. Ожидалось участие правительства США в этой закрытой группе, поскольку администрация Трампа временно приостановила выпуск последних моделей компании. Однако нет информации о вовлечении других правительств в этот проект.
Аналогичные инициативы происходят с другим видным игроком в сфере ИИ: Китаем. Недавно Бразилия, Россия и другие страны Глобального Юга учредили Всемирную организацию по сотрудничеству в области искусственного интеллекта (WAICO). Цель состоит в содействии совместной работе для обсуждения развития ИИ, обеспечивая человеческую перспективу для этой технологии.
