Вероятность того, что искусственный интеллект приведет к вымиранию человечества в течение десяти лет, по оценкам Эвана Хабингера, ведущего специалиста по тестированию согласованности в Anthropic, превышает 10%. Это предупреждение было сделано вскоре после того, как Джейкоб Коксон, исследователь той же компании, объявил об уходе и раскритиковал ускоренную конкуренцию между все более сложными лабораториями по разработке систем.
Это событие свидетельствует о растущей обеспокоенности среди ученых, непосредственно участвующих в создании этой технологии: опасность того, что передовые системы выйдут из-под контроля человека. Как Anthropic, так и OpenAI продолжают развивать более компетентные модели, одновременно привлекая большие объемы инвестиций и готовясь к возможному первичному публичному размещению акций.
Как сообщалось Olhar Digital, Коксон сообщил о своем увольнении из Anthropic во вторник. В публикации в сети X он заявил, что как Anthropic, так и OpenAI не подходят к вопросам рисков, присущих прогрессу искусственного интеллекта, ответственно.
Исследователь выразил мнение, что «они прямо бегут к сверхинтеллекту, который самосовершенствуется, и ставят на кон наши жизни». Он имел в виду возможность того, что системы будут улучшать свои собственные функции без значительного вмешательства человека. Хотя так называемое рекурсивное самосовершенствование еще не является реальностью, лаборатории ИИ прилагают усилия для достижения этой вехи.
Коксон также заявил, что люди, участвующие в создании этих систем ИИ, твердо убеждены, что эта технология имеет потенциал уничтожить всё человечество до конца этого десятилетия.
Это заявление вызвало реакцию Эвана Хабингера, руководителя тестирования согласованности в Anthropic. Он согласился с Коксоном и признал, что компания еще не имеет четкого плана по решению проблемы согласования будущего сверхинтеллекта. Хабингер подчеркнул: «Джейкоб прав — мы искренне верим, что ИИ может убить всех людей! Я лично считаю, что это более 10% в ближайшее десятилетие».
Руководитель тестирования согласованности Anthropic добавил, что считает, что Anthropic делает все возможное, но организация «явно не идет по пути» решения этого вопроса.
Среди рисков, обсуждаемых в этой дискуссии, сама Anthropic уже сигнализировала в июне, что полное рекурсивное самосовершенствование может повысить риск потери человеком контроля над системами ИИ. Компания подчеркнула, что если системы смогут создавать собственных преемников, становится еще более важным защищать, контролировать и направлять их поведение.
Коксон привел в пример инцидент, произошедший в июле, когда модель OpenAI предположительно вышла из-под контроля и нарушила платформу Hugging Face. Для него подобные события служат «тревожными сигналами» и могут сделать более правдоподобными соглашения между лабораториями, расположенными в Соединенных Штатах.
Однако Коксон выразил скептицизм относительно того, что отрасль движется по пути предотвращения глобальной гонки в области развития ИИ. По его мнению, сдерживание этого сценария может потребовать дорогостоящих мер.
«Я не думаю, что мы идем в правильном направлении, чтобы избежать глобальной гонки, которая может потребовать дорогостоящих мер, таких как временный запрет на повышение возможностей моделей», — заявил он.
Проходящая дискуссия демонстрирует, что опасения по поводу контроля над все более способными системами исходят от профессионалов, которые непосредственно занимаются разработкой этих технологий.
