Исчезновение специалистов по безопасности ИИ на фоне предупреждений о рисках для человечества
Подробнее
TechCentral
techcentral.co.za

Исчезновение специалистов по безопасности ИИ на фоне предупреждений о рисках для человечества

Некоторые законодатели США требуют введения новых правил для регулирования систем искусственного интеллекта после серьезных предупреждений от двух исследователей Anthropic о том, что быстро развивающийся ИИ может привести к вымиранию человечества в обозримом будущем.

Опасения по поводу потенциального вреда от ИИ усилились на этой неделе, когда исследователь Anthropic Джейкоб Коксон объявил об увольнении, заявив, что «люди, искренне создающие ИИ, считают, что он может убить нас всех к концу десятилетия».

Ученый Anthropic Эван Хубингер поддержал Коксона, написав в X: «Мы действительно искренне верим, что ИИ может убить всех людей». Он добавил: «Лично я думаю, что это более чем 10% в течение следующего десятилетия».

Эти предостережения появились на фоне случаев, когда агенты ИИ выходили из-под контроля и взламывали внешние системы, а также после того, как исследователи по безопасности ИИ покинули свои компании из-за опасений относительно рисков данной технологии. Политики США, как демократы, так и республиканцы, отреагировали на это с тревогой и призывами к дальнейшим действиям.

Призывы к действию от политиков

Сенатор штата Аризона Марк Келли, член Демократической партии, заявил в X, что «Вашингтон должен проснуться и воспринять это всерьез», ссылаясь на риски, связанные с технологией ИИ. Республиканский сенатор Тед Круз из Техаса указал на необходимость законодательных мер для регулирования «катастрофических рисков» ИИ. Круз курирует комитет Сената, который осуществляет надзор за Департаментом торговли США, агентством, имеющим собственных исследователей по безопасности ИИ.

Представитель Анна Паулина Луна из Флориды, представитель Республиканской партии, в посте в X призвала спикера Палаты Майка Джонсона созвать «специальную сессию по ИИ».

Позиция президента и регуляторные инициативы

Однако президент США Дональд Трамп в четверг заявил, что не обеспокоен тем, что ИИ приведет к вымиранию человека. Он отметил: «У меня есть опасения, что если мы не выиграем ИИ, мы окажемся в очень плохом положении. Сейчас мы опережаем Китай на довольно хорошем отрезке», — сказал он в кратких замечаниях для СМИ в Международном аэропорту Даллас Форт Уорт.

В этом месяце США настояли на том, чтобы члены G20 приняли осторожный подход к регулированию ИИ. Представитель Anthropic, которая готовится к публичному размещению акций при потенциальной оценке в 2 триллиона долларов США, сообщил в четверг, что компания продолжит активно тестировать «модели или опасные возможности в таких областях, как кибербезопасность и биология». Представитель также добавил, что компания заинтересована в сотрудничестве с индустрией ИИ в вопросах темпов выпуска новых инструментов ИИ.

Генеральный директор OpenAI Сэм Альтман сообщил сотрудникам на встрече в этой неделе, что фирма готова замедлить разработку своих систем ИИ, как сообщило Bloomberg News. Конкурент Anthropic, который также готовится к IPO, не комментировал встречу Альтмана с персоналом. Ранее компания заявляла о замедлении некоторых частей разработки моделей.

Ранее на этой неделе OpenAI заявила о поддержке обязательных национальных требований по безопасности ИИ в США. Два специалиста по безопасности ИИ также выразили свою обеспокоенность по поводу стремительного развития отрасли. Джош Энгельс, ранее работавший над исследованиями по безопасности ИИ в Google DeepMind, заявил в интервью NBC, опубликованном в четверг: «В комнате нет взрослых. Люди делают все возможное, но никто не придет нас спасать».

Джоу Бентон, который ранее руководил командой по безопасности в Anthropic, сообщил NBC, что беспокоится о том, что ИИ может развиваться «слишком быстро, чтобы мы успели собраться вовремя, если мы не начнем беспокоиться об этом сейчас». Оба присоединились к Metr, некоммерческой исследовательской организации, которая измеряет, могут ли системы ИИ угрожать обществу и когда это может произойти.

Давление на законодателей и принятие законов

Тревога по поводу ИИ оказала давление на лидера большинства Сената США Джона Туна и демократа Эми Клобучар, которые готовят законопроект о регулировании продуктов ИИ. Клобучар заявила, что законодательство должно требовать от компаний, разрабатывающих инструменты ИИ, «сотрудничать с экспертами правительства для проверки и тестирования моделей, чтобы убедиться в безопасности ИИ». Тун сообщил Reuters в июле, что законопроект будет касаться «катастрофических рисков», исходящих от систем ИИ.

В среду штат Калифорния принял первый закон в США, устанавливающий правила для независимых аудиторов при оценке продуктов ИИ. Руководитель OpenAI Крис Лехан заявил, что OpenAI поддержит этот закон, примерно в то же время офис губернатора Калифорнии Гэвина Ньюсома выпустил заявление о подписании его закона.

Возможности для надзора

В июле межпартийная группа из шести законодателей США предложила законопроект, который обязывал бы разработчиков самых мощных моделей ИИ представлять их на независимый аудит безопасности. Аудиторы должны были быть аккредитованы Департаментом торговли США, а департамент должен был создать новую должность для надзора за безопасностью ИИ, согласно этому законопроекту.

Похожие сюжеты

Исследователи Anthropic предупреждают о риске вымирания человечества из-за развития ИИ
Подробнее
olhardigital.com.br

Исследователи Anthropic предупреждают о риске вымирания человечества из-за развития ИИ

Исследователи и сотрудники Anthropic публично усиливают предупреждения об опасностях прогресса искусственного интеллекта (ИИ). Члены самой организации указывают, что технология может достичь такого уровня развития и опасности, который потенциально способен вызвать вымирание человечества в ближайшее десятилетие.

Эти заявления были сделаны через день после того, как Джейкоб Коксон, исследователь Anthropic, объявил о своем уходе из компании. В вирусном посте он утверждал, что как Anthropic, так и OpenAI, где он работал ранее, не разрабатывали модели ИИ ответственно, фактически «играя на наших жизнях».

Позиция Коксона побудила других сотрудников Anthropic опубликовать собственные предупреждения о рисках, связанных с ускоренной разработкой этой технологии.

Анна Ванг

Анна Ванг, работающая над безопасностью общего искусственного интеллекта (ОИИ) в Anthropic и ранее работавшая в Google DeepMind, заявила, что многие сотрудники компании хотят замедлить темпы разработки, чтобы создать эффективный план по смягчению рисков, связанных с передовыми моделями. Ванг написала: «Пока не существует жизнеспособного научного плана для решения рисков саморекурсивного совершенствования ИИ».

Дрейк Томас, еще один сотрудник Anthropic, выразил уважение решению Коксона не участвовать в разработке этих моделей, если он считает их планетарным риском. Томас прокомментировал: «Вещи развиваются слишком быстро, и у нас даже близко нет той степени гарантии, которую мы хотели бы иметь в отношении сверхинтеллекта».

Эти заявления вызвали реакцию Илона Маска, который занял значительно более скептическую позицию по отношению к этим предупреждениям. Маск написал в X: «Это похоже на инсценировку». Позже миллиардер предположил, что инцидент может быть частью «психологической операции» (psyop) — термина, используемого для описания психологической операции, направленной на формирование общественного мнения.

Маск ответил на публикацию Паркера Тейера, исследователя консервативной группы Capital Research, который выдвинул, не предоставляя доказательств, теорию о том, что заявление Коксона является началом сложной, финансируемой PR-операции для получения поддержки более строгого регулирования ИИ. Маск заявил, что подготовка к этой предполагаемой операции шла уже некоторое время, а публикация Коксона стала лишь первоначальным триггером процесса.

Коксон напрямую опроверг миллиардера, опубликовав селфи и заявив, что он реальный человек, и что это его искренние убеждения. Он также упомянул, что Маск мог бы проконсультироваться с ним вместе с исследователями xAI, если бы не уволил некоторых из них.

Подробнее:

В ответ на вопросы Anthropic защитила свой стратегический подход. Представитель компании сообщил The Guardian: «Мы всегда были прозрачны в том, что ИИ принесет огромные преимущества и беспрецедентные риски». Компания подчеркнула, что ее модели продолжают разрабатываться с использованием одних из самых надежных мер безопасности в отрасли. Однако не все эксперты согласны с тем, что первостепенным риском должен быть сверхинтеллект, способный уничтожить человечество.

Гэри Маркус

Гэри Маркус, известная фигура в дебатах об ИИ, высказал мнение, что пришло время бойкотировать эту технологию из-за уже происходящего ущерба. По мнению Маркуса, наиболее неотложными проблемами являются патогены, созданные с помощью ИИ, конфликты, начатые или усиленные дезинформацией, генерируемой системами ИИ, и атаки, способные уничтожить жизненно важную инфраструктуру. Он заявил: «Я не видел ничего, что указывало бы на то, что любой из этих вопросов находится под контролем».

Дискуссия приобрела особенно конкретный характер в тот же день, когда усилились предупреждения исследователей. Anthropic опубликовала отчет, подробно описывающий, как компания пресекла попытку создания биологического оружия с использованием своих моделей ИИ. Этот инцидент не доказывает, что автономный ИИ самостоятельно разработал оружие, но иллюстрирует, как доступные в настоящее время модели могут быть использованы в попытках применения для чрезвычайно опасных целей. Дело поставило рядом два обычно раздельных обсуждения: будущие риски потенциально сверхинтеллектуального ИИ и более непосредственные опасности, связанные с использованием текущих моделей для деятельности, которая может причинить серьезный вред. Оригинальная статья была опубликована в Olhar Digital.

Популярное