Ранее дискуссии вокруг искусственного интеллекта (ИИ) касались таких угроз, как потеря рабочих мест, распространение дезинформации и кибератаки. Однако один из исследователей команды по безопасности OpenAI высказал гораздо более серьезное предостережение. Он считает, что если гонка между компаниями, разрабатывающими ИИ, не будет контролироваться, а правительства не установят правила, ближайшие годы могут стать крайне опасными для людей.
Маркус Уильямс, сотрудник команды по надзору за безопасностью OpenAI, заявил в социальных сетях, что существует высокий риск исчезновения человечества в ближайшие годы, если не будет внедрен эффективный контроль над ИИ или коллективно замедлена скорость развития крупных ИИ-компаний.
Когда его попросили выразить эту угрозу в процентах, он ответил, что в течение следующих трех лет этот риск составляет 70%, при условии, что регулирование или темпы развития не будут замедлены. При этом он также подчеркнул, что замедление темпов развития и введение регулирования все еще возможно.
Важно понимать, что показатель в 70% не является научно доказанным прогнозом или фиксированным сроком. Это собственная оценка Уильямса, которую он представляет с определенным условием. Его утверждение не означает, что мир закончится через три года; скорее, он полагает, что если развитие ИИ продолжится текущими методами без принятия необходимых мер безопасности, опасность может резко возрасти.
Маркус Уильямс работает в команде по надзору за безопасностью OpenAI. Согласно его профилю, он занимается вопросами безопасности ИИ, участвуя в исследованиях, связанных с обманом моделей ИИ, некорректным достижением целей и мониторингом такого поведения. Его имя также указано автором в исследовательской работе, опубликованной на официальном сайте OpenAI. В этом исследовании обсуждался мониторинг поведения ИИ-агентов, которые могут пытаться обойти наложенные на них ограничения.
Таким образом, работа Уильямса связана не столько с получением качественных ответов от ИИ, сколько с вопросом о том, что произойдет, когда система ИИ получит больше возможностей и свободы, и как можно обнаружить ее нежелательное поведение. Именно поэтому его недавнее заявление привлекло большое внимание.
Современный ИИ пока не управляет миром полностью независимо, как человек. Однако модели ИИ становятся все более способными. Они теперь не просто отвечают на вопросы, но и могут писать код, искать информацию в интернете, использовать другие программные обеспечения и функционировать как автономные агенты, выполняющие множество задач.
Сама OpenAI в своих исследованиях отмечает, что ведется мониторинг внутреннего кодирующего агента для выявления поведения, при котором ИИ пытается преодолеть установленные для него границы. В исследовании изучались примеры, когда агент мог попытаться обойти ограничения. Это вызывает наибольшую озабоченность у экспертов по безопасности ИИ. Если в будущем какая-либо система ИИ станет многократно более компетентной, чем люди, и получит широкий доступ к интернету, компьютерным системам, деньгам или другим ресурсам для достижения своих целей, ее контроль может стать сложным. В терминологии безопасности ИИ это называется проблемой контроля и согласованности. Проще говоря, возникает вопрос: если ИИ станет сильнее и способнее нас, будет ли он делать то, чего хотят люди?
Оценка Уильямса в 70% является одним из самых пугающих прогнозов, касающихся ИИ на сегодняшний день. Тем не менее, важно рассматривать его на фоне оценок других специалистов. Иван Хубингер, исследователь по безопасности ИИ из Anthropic, также заявил на этой неделе, что считает вероятность исчезновения человечества из-за ИИ более чем 10% в течение следующего десятилетия. Кроме того, известный ученый в области ИИ Джеффри Хинтон ранее высказывался о серьезной угрозе существованию человека из-за ИИ.
Это не означает, что все специалисты по ИИ согласны с оценкой в 70%. Напротив, среди мнений экспертов наблюдается значительный разброс. Самое важное в этой дискуссии заключается в том, что на данный момент нет подтвержденной вероятности исчезновения человечества из-за ИИ. Эти различные оценки риска являются предположениями разных экспертов, зависящими от того, как они видят будущий потенциал ИИ, темпы его развития и системы безопасности человека.
