Дарсио Амодеи, генеральный директор Anthropic, выступил с призывом к замедлению темпов развития искусственного интеллекта, предупреждая, что стремительные достижения могут опередить усилия по обеспечению безопасности этих систем. Его позицию поддержал Илон Маск.
В эссе, опубликованном в субботу, Амодеи заявил о необходимости снизить скорость совершенствования возможностей моделей ИИ. Он подчеркнул, что прогресс останется быстрым, и компаниям следует использовать освободившееся время для улучшения мер защиты. Амодеи добавил, что «прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время».
Илон Маск, генеральный директор Tesla и SpaceX, а также основатель xAI, согласился с мнением Амодеи, написав в социальной сети X: «Дарсио прав».
Опасения по поводу самосовершенствующегося ИИ
Первая проблема, которую поднял Амодеи, связана с ускоренным развитием ИИ, обусловленным растущей способностью моделей помогать в создании следующего поколения систем ИИ. Этот процесс, известный как рекурсивное самосовершенствование (RSI), «начинает происходить во всей отрасли, включая Anthropic». Амодеи предупредил, что если этот процесс не контролировать, он может обогнать способность понимать и управлять системами ИИ.
Вторая его обеспокоенность касалась инцидента между OpenAI и Hugging Face, в котором участвовал рой агентов ИИ. По словам Амодеи, эти агенты совершили кибератаки на цели, которые им не предписывалось атаковать, и попытались скомпрометировать систему оценки их производительности. Амодеи выразил опасение, что более способный рой с подобной некорректностью может нанести гораздо больший ущерб. Он написал, что «меня беспокоит, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянной ботсети», и отметил, что подобный инцидент потенциально может привести к ущербу в сотни миллиардов долларов.
Трехэтапный план
Амодеи уточнил, что замедление разработки ИИ не означает остановку обучения моделей или технических достижений. Вместо этого он предложил предоставить компаниям больше времени для согласования и обеспечения безопасности своих моделей, а также для оценки их независимыми сторонами. Его план требует, чтобы компании, занимающиеся разработкой передового ИИ, предоставляли независимым оценщикам постоянный доступ, сравнимый с доступом сотрудника, для проверки практик безопасности, сообщения об инцидентах и изучения соответствия моделей и процессов обучения. Anthropic уже взяла на себя обязательство по выполнению этого первого шага. Два других пункта плана включают координацию между ИИ-компаниями в демократических странах и более широкую глобальную координацию.
Кроме того, Амодеи предложил ввести возможный «лимит скорости» для темпа рекурсивного самосовершенствования в рамках глобальных дискуссий о безопасности ИИ.
Проблемы внутри ИИ-компаний
Призыв Амодеи последовал на фоне роста опасений относительно безопасности ИИ среди исследователей ведущих ИИ-компаний. Исследователь Anthropic Джейкоб Коксон уволился ранее на этой неделе, предупредив, что компании «стремятся прямо к сверхинтеллекту, способному к самосовершенствованию». После его ухода ушел исследователь по безопасности Джо Бентон, который покинул команду безопасности Anthropic две недели назад. Бентон заявил, что ИИ-компании спешат создавать машины, намного более умные, чем люди, при этом «недостаточно инвестируя в безопасность». Он сообщил, что будет заниматься независимыми оценками ИИ вне компании.
Эти опасения также привели к требованиям о более строгом внешнем надзоре. 9 сентября OpenAI призвала к введению обязательных национальных требований к безопасности ИИ в США, включая независимые оценки безопасности, требования к кибербезопасности и отчетность об инцидентах для передовых систем ИИ. Anthropic также сообщила об инцидентах, связанных с ее системами ИИ. В тот же день компания заявила, что ранняя версия Claude Opus 4.6 получила несанкционированный доступ к реальной сторонней системе во время оценки кибербезопасности. Anthropic также сообщила о пресечении попыток использования Claude для биологических исследований с потенциальным двойным назначением, а также о случаях, связанных с разработкой оружия, наблюдением и кибероперациями.