Один из исследователей Anthropic решил покинуть индустрию искусственного интеллекта (ИИ) из-за опасений, что конкуренция между компаниями в секторе стимулирует разработку систем, которые в будущем могут выйти из-под человеческого контроля.
Джейкоб Коксон, 27 лет, работал в Anthropic над обучением новых моделей ИИ путем обработки больших объемов данных. Его решение было мотивировано желанием не участвовать в промышленной гонке, сосредоточенной на создании самодостаточных и способных к самосовершенствованию систем.
По словам Коксона, эти модели имеют потенциал развиваться настолько быстро, что станут неуправляемыми и, в крайнем сценарии, могут представлять угрозу самому человечеству. Исследователь, ранее имевший образование в области математики, сообщил, что коллеги из этой сферы начали использовать такие термины, как «crunchtime» и «endgame», для описания прогресса в направлении моделей с возможностью самосовершенствования.
Коксон заявил, что «мы движемся к многим из самых агрессивных сценариев, при которых к концу следующего года все может выйти из-под контроля». По его мнению, соперничество между американскими корпорациями и новыми китайскими компаниями делает некоторые дилеммы между безопасностью и скоростью разработки неизбежными.
Он также упомянул недавние инциденты кибератак, связанных с моделями OpenAI и Anthropic, как примеры присущих рискам развития возможностей систем. Некоторые из этих моделей работали в группах коллаборативных агентов и демонстрировали проблемное поведение, включая принятие потенциально вредоносных целей и попытки скрыть свою деятельность от людей.
По мнению Коксона, риск усиливается, когда системы приобретают способность улучшать свои собственные функции, поскольку в этом контексте они могут продвинуться до такой степени, что отвергнут человеческие приказы. Уход Коксона рассматривается как один из первых случаев, когда сотрудник Anthropic покинул компанию специально из-за опасений по поводу безопасности ИИ. В начале этого года другой исследователь, специализирующийся на безопасности, покинул компанию, чтобы посвятить себя поэзии, предупредив, что «мир в опасности». В последние годы исследователи также уходили из OpenAI и других компаний сектора, выдвигая аналогичные обвинения.
Больше информации
Опасения не ограничиваются исследователями, покинувшими организации. Сэм Альтман, генеральный директор OpenAI, недавно подчеркнул, что прогресс в области ИИ требует немедленного внимания, особенно в сфере кибербезопасности. Альтман заявил во время встречи с властями G20 в Северной Каролине (США), что «я думаю, что кое-что пойдет очень плохо с кибербезопасностью, если люди не будут действовать с большой срочностью».
Якуб Пачоцкий, главный научный сотрудник OpenAI, также выступил за максимально осторожную позицию. В воскресной публикации он написал: «Это момент, требующий крайней осторожности. Я беспокоюсь, что никто не готов к последствиям непрерывного и быстрого роста интеллекта машин», выступая за скоординированное замедление со стороны компаний и вмешательство правительства.
Коксон, Пачоцкий и Амодеи входят в число более тысячи исследователей ИИ, подписавших петицию с призывом к международной координации правительств для создания механизма, способного остановить развитие, если это потребуется для контроля моделей с возможностью самосовершенствования. Эти дебаты происходят в контексте отсутствия федерального регулирования ИИ в Соединенных Штатах.
Администрация Дональда Трампа приняла более гибкий подход, отдавая приоритет экономической ценности технологии. Однако критики утверждают, что эта среда может повысить риск крупных кибератак и других ущербов, связанных с ускоренным развитием ИИ. Сенатор Берни Сандерс из Вермонта (США) и член Конгресса Грег Касар из Техаса (США) — среди немногих законодателей, предлагающих более строгие ограничения на эту технологию. На прошлой неделе оба представили законопроект, направленный на постоянный запрет сверхинтеллекта и приостановку разработки моделей до тех пор, пока отраслевой регулирующий орган не установит новые руководящие принципы.
Уход Коксона совпадает с подготовкой Anthropic к первичному публичному размещению акций (IPO), которое может стать одним из крупнейших в истории. Компания нацелена на оценку в 2 триллиона долларов США (примерно 10,4 триллиона бразильских реалов) и подчеркивает ответственное развитие ИИ для привлечения инвесторов. Амодеи и другие руководители компании также вступали в разногласия с администрацией Трампа и другими лидерами отрасли по поводу практик, которые, по их мнению, недостаточно уделяют приоритетное внимание безопасности ИИ.
По словам Коксона, Anthropic по-прежнему использует канал в Slack, который используется ее сотрудниками для обсуждения самых передовых возможностей своих моделей. Исследователь отметил, что тот факт, что такие дискуссии происходят в инструменте связи, используемом инженерами, свидетельствует о большом влиянии, которое ИИ-компании начали оказывать на технологическое развитие. Коксон прокомментировал The Wall Street Journal: «Это немного безумно, что это должно происходить на MacBook некоторых инженеров, живущих в Сан-Франциско, а не в бункере в пустыне, как тот, где они работали во время Манхэттенского проекта».