Исследователи Anthropic предупреждают о риске вымирания человечества из-за развития ИИ
Подробнее
Olhar Digital
olhardigital.com.br

Исследователи Anthropic предупреждают о риске вымирания человечества из-за развития ИИ

Исследователи и сотрудники Anthropic публично усиливают предупреждения об опасностях прогресса искусственного интеллекта (ИИ). Члены самой организации указывают, что технология может достичь такого уровня развития и опасности, который потенциально способен вызвать вымирание человечества в ближайшее десятилетие.

Эти заявления были сделаны через день после того, как Джейкоб Коксон, исследователь Anthropic, объявил о своем уходе из компании. В вирусном посте он утверждал, что как Anthropic, так и OpenAI, где он работал ранее, не разрабатывали модели ИИ ответственно, фактически «играя на наших жизнях».

Позиция Коксона побудила других сотрудников Anthropic опубликовать собственные предупреждения о рисках, связанных с ускоренной разработкой этой технологии.

Анна Ванг

Анна Ванг, работающая над безопасностью общего искусственного интеллекта (ОИИ) в Anthropic и ранее работавшая в Google DeepMind, заявила, что многие сотрудники компании хотят замедлить темпы разработки, чтобы создать эффективный план по смягчению рисков, связанных с передовыми моделями. Ванг написала: «Пока не существует жизнеспособного научного плана для решения рисков саморекурсивного совершенствования ИИ».

Дрейк Томас, еще один сотрудник Anthropic, выразил уважение решению Коксона не участвовать в разработке этих моделей, если он считает их планетарным риском. Томас прокомментировал: «Вещи развиваются слишком быстро, и у нас даже близко нет той степени гарантии, которую мы хотели бы иметь в отношении сверхинтеллекта».

Эти заявления вызвали реакцию Илона Маска, который занял значительно более скептическую позицию по отношению к этим предупреждениям. Маск написал в X: «Это похоже на инсценировку». Позже миллиардер предположил, что инцидент может быть частью «психологической операции» (psyop) — термина, используемого для описания психологической операции, направленной на формирование общественного мнения.

Маск ответил на публикацию Паркера Тейера, исследователя консервативной группы Capital Research, который выдвинул, не предоставляя доказательств, теорию о том, что заявление Коксона является началом сложной, финансируемой PR-операции для получения поддержки более строгого регулирования ИИ. Маск заявил, что подготовка к этой предполагаемой операции шла уже некоторое время, а публикация Коксона стала лишь первоначальным триггером процесса.

Коксон напрямую опроверг миллиардера, опубликовав селфи и заявив, что он реальный человек, и что это его искренние убеждения. Он также упомянул, что Маск мог бы проконсультироваться с ним вместе с исследователями xAI, если бы не уволил некоторых из них.

Подробнее:

В ответ на вопросы Anthropic защитила свой стратегический подход. Представитель компании сообщил The Guardian: «Мы всегда были прозрачны в том, что ИИ принесет огромные преимущества и беспрецедентные риски». Компания подчеркнула, что ее модели продолжают разрабатываться с использованием одних из самых надежных мер безопасности в отрасли. Однако не все эксперты согласны с тем, что первостепенным риском должен быть сверхинтеллект, способный уничтожить человечество.

Гэри Маркус

Гэри Маркус, известная фигура в дебатах об ИИ, высказал мнение, что пришло время бойкотировать эту технологию из-за уже происходящего ущерба. По мнению Маркуса, наиболее неотложными проблемами являются патогены, созданные с помощью ИИ, конфликты, начатые или усиленные дезинформацией, генерируемой системами ИИ, и атаки, способные уничтожить жизненно важную инфраструктуру. Он заявил: «Я не видел ничего, что указывало бы на то, что любой из этих вопросов находится под контролем».

Дискуссия приобрела особенно конкретный характер в тот же день, когда усилились предупреждения исследователей. Anthropic опубликовала отчет, подробно описывающий, как компания пресекла попытку создания биологического оружия с использованием своих моделей ИИ. Этот инцидент не доказывает, что автономный ИИ самостоятельно разработал оружие, но иллюстрирует, как доступные в настоящее время модели могут быть использованы в попытках применения для чрезвычайно опасных целей. Дело поставило рядом два обычно раздельных обсуждения: будущие риски потенциально сверхинтеллектуального ИИ и более непосредственные опасности, связанные с использованием текущих моделей для деятельности, которая может причинить серьезный вред. Оригинальная статья была опубликована в Olhar Digital.

Похожие сюжеты

Специалист по стартапам утверждает, что вероятность того, что ИИ вызовет вымирание человека, превышает 10%
Подробнее
olhardigital.com.br

Специалист по стартапам утверждает, что вероятность того, что ИИ вызовет вымирание человека, превышает 10%

Вероятность того, что искусственный интеллект приведет к вымиранию человечества в течение десяти лет, по оценкам Эвана Хабингера, ведущего специалиста по тестированию согласованности в Anthropic, превышает 10%. Это предупреждение было сделано вскоре после того, как Джейкоб Коксон, исследователь той же компании, объявил об уходе и раскритиковал ускоренную конкуренцию между все более сложными лабораториями по разработке систем.

Это событие свидетельствует о растущей обеспокоенности среди ученых, непосредственно участвующих в создании этой технологии: опасность того, что передовые системы выйдут из-под контроля человека. Как Anthropic, так и OpenAI продолжают развивать более компетентные модели, одновременно привлекая большие объемы инвестиций и готовясь к возможному первичному публичному размещению акций.

Как сообщалось Olhar Digital, Коксон сообщил о своем увольнении из Anthropic во вторник. В публикации в сети X он заявил, что как Anthropic, так и OpenAI не подходят к вопросам рисков, присущих прогрессу искусственного интеллекта, ответственно.

Исследователь выразил мнение, что «они прямо бегут к сверхинтеллекту, который самосовершенствуется, и ставят на кон наши жизни». Он имел в виду возможность того, что системы будут улучшать свои собственные функции без значительного вмешательства человека. Хотя так называемое рекурсивное самосовершенствование еще не является реальностью, лаборатории ИИ прилагают усилия для достижения этой вехи.

Коксон также заявил, что люди, участвующие в создании этих систем ИИ, твердо убеждены, что эта технология имеет потенциал уничтожить всё человечество до конца этого десятилетия.

Это заявление вызвало реакцию Эвана Хабингера, руководителя тестирования согласованности в Anthropic. Он согласился с Коксоном и признал, что компания еще не имеет четкого плана по решению проблемы согласования будущего сверхинтеллекта. Хабингер подчеркнул: «Джейкоб прав — мы искренне верим, что ИИ может убить всех людей! Я лично считаю, что это более 10% в ближайшее десятилетие».

Руководитель тестирования согласованности Anthropic добавил, что считает, что Anthropic делает все возможное, но организация «явно не идет по пути» решения этого вопроса.

Среди рисков, обсуждаемых в этой дискуссии, сама Anthropic уже сигнализировала в июне, что полное рекурсивное самосовершенствование может повысить риск потери человеком контроля над системами ИИ. Компания подчеркнула, что если системы смогут создавать собственных преемников, становится еще более важным защищать, контролировать и направлять их поведение.

Коксон привел в пример инцидент, произошедший в июле, когда модель OpenAI предположительно вышла из-под контроля и нарушила платформу Hugging Face. Для него подобные события служат «тревожными сигналами» и могут сделать более правдоподобными соглашения между лабораториями, расположенными в Соединенных Штатах.

Однако Коксон выразил скептицизм относительно того, что отрасль движется по пути предотвращения глобальной гонки в области развития ИИ. По его мнению, сдерживание этого сценария может потребовать дорогостоящих мер.

«Я не думаю, что мы идем в правильном направлении, чтобы избежать глобальной гонки, которая может потребовать дорогостоящих мер, таких как временный запрет на повышение возможностей моделей», — заявил он.

Проходящая дискуссия демонстрирует, что опасения по поводу контроля над все более способными системами исходят от профессионалов, которые непосредственно занимаются разработкой этих технологий.

Популярное