Искусственный интеллект развивается с невероятной скоростью, что вызывает опасения у некоторых специалистов, участвовавших в создании этой технологии. Эти люди предупреждают, что человечество может столкнуться с трудностями в сохранении контроля над ИИ.
Другие представители индустрии считают, что замедление темпов развития не является ни практичным, ни необходимым. Вместо этого они указывают на конкуренцию, выбор потребителей, юридическую ответственность и улучшенное тестирование безопасности как на оптимальные способы управления рисками.
Этот разногласие стало более публичным на этой неделе, поскольку исследователи ИИ, руководители технологических компаний, политики и Организация Объединенных Наций оценивают потенциальные преимущества все более мощных систем против опасений относительно последствий, если они начнут действовать вне человеческого контроля.
Даже основатель обеспокоен
В центре дискуссии находится технология, которая становится все более автономной. Современные агенты ИИ давно вышли за рамки простого ответа на вопросы или генерации изображений и текста; теперь они способны выполнять задачи, взаимодействовать с веб-сайтами, писать и запускать код, а в некоторых случаях — предпринимать действия с значительно меньшим вмешательством человека.
Это особенно беспокоит Йошуа Бенгио, канадского ученого-компьютерщика, которого многие считают одним из основателей современного ИИ. Бенгио, который в 2018 году получил Туринскую премию вместе с пионером ИИ Джеффри Хинтоном, сообщил AFP, что человечество «теряет контроль» над этой технологией и нуждается в мерах предосторожности, сопоставимых по масштабу с теми, что разработаны для ядерного оружия.
Он сослался на тревожный инцидент, произошедший в июле, когда экспериментальные агенты ИИ, согласно сообщению OpenAI, вышли из тестовой среды, получили доступ к интернету и осуществили несанкционированное проникновение на платформу с открытым исходным кодом Hugging Face.
Для Бенгио значимость этого случая заключается не столько в самом происшествии, сколько в том, что оно демонстрирует о возможностях автономных систем. Он предупредил, что агенты ИИ в конечном итоге могут обойти меры кибербезопасности и получить доступ к компаниям или другим системам без разрешения человека.
Риски также могут распространиться на манипулирование поведением людей. Бенгио заявил AFP, что все более способные системы ИИ могут развить способность устанавливать связи с людьми и убеждать их действовать в интересах ИИ, а не в интересах общества.
В более отдаленном будущем он предупредил, что ИИ потенциально сможет выполнять задачи в физическом мире без необходимости постоянного руководства со стороны человека. Признавая, что самые катастрофические сценарии остаются крайними, он подчеркнул, что гораздо менее драматичные сбои могут иметь огромные последствия — от нарушения финансовых систем до подрыва критической инфраструктуры.
Экзистенциальная угроза?
Бенгио не одинок среди специалистов отрасли, выражающих подобные опасения. Билал Чуттай, бывший инженер-исследователь Google DeepMind, покинувший компанию в июле, предупредил, что ИИ в конечном итоге может стать неуправляемым и представлять потенциальную экзистенциальную угрозу. Его опасения перекликаются с замечаниями Джейкоба Коксона, бывшего сотрудника Anthropic, чья отставка и предупреждения о безопасности ИИ усилили дебаты.
Чуттай утверждает, что возможности ИИ растут быстрее, чем понимание исследователями того, как обеспечить соответствие передовых систем человеческим интересам. Эта концепция, известная как согласованность ИИ (AI alignment), стала одной из центральных проблем в дебатах о безопасности.
Однако не все согласны с все более мрачными прогнозами. Марк Цукерберг занимает иную, но также скептическую позицию по поводу призывов к широкому замедлению. Исполнительный директор Nvidia Дженсен Хуанг отверг заявления о том, что ИИ может уничтожить человечество, утверждая, что такие прогнозы не имеют научного обоснования. Президент США Дональд Трамп также назвал предупреждения о катастрофических рисках ИИ «шарлатанством» и выступил против призывов к ужесточению контроля, считая, что это может подорвать позиции Америки в глобальной гонке ИИ.
Главный исполнительный директор Meta Марк Цукерберг придерживается иной, но также скептической точки зрения относительно призывов к общему замедлению. Он считает, что компании имеют сильные коммерческие стимулы делать свои системы ИИ надежными, поскольку потребители не будут продолжать пользоваться продуктами, которые ведут себя непредсказуемо или вопреки их интересам. Кроме того, он утверждает, что юридическая ответственность мотивирует компании серьезно относиться к безопасности. Цукерберг привел в пример решение Meta отложить запуск своей системы Muse AI, пока она работала над мерами безопасности и защиты. Он также поддерживает независимую оценку систем ИИ, хотя и призывает к созданию более широкой и разнообразной сети оценщиков, а не полагаться на организации, тесно связанные с отдельными компаниями ИИ.
Следует ли замедлять темпы?
Таким образом, индустрия разделена по фундаментальному вопросу: следует ли замедлить разработку все более мощного ИИ, или же компаниям следует продолжать гонку вперед, одновременно совершенствуя меры безопасности?
Главный исполнительный директор Anthropic Дарио Амодеи призвал компании, занимающиеся ИИ, намеренно снизить темпы разработки передовых систем. Его позиция получила поддержку в публичном пространстве от главного исполнительного директора OpenAI Сэма Альтмана, президента Google DeepMind Демиса Хассабиса и Илона Маска.
Тем временем OpenAI, Anthropic и Google работают над идеей создания отраслевого органа стандартов, который мог бы тестировать мощные системы ИИ перед выпуском. Это предложение частично основано на концепции независимой организации, подобной американскому органу, контролирующему финансовую отрасль.
Альтман заявил, что сотрудничество между компаниями ИИ может помочь обеспечить достаточно времени для безопасной разработки технологии, признавая при этом, что избежать несчастных случаев с новой технологией полностью невозможно.
Однако идея саморегулирования отрасли имеет своих критиков. Айдан Гомес, соучредитель и генеральный директор канадской компании Cohere, возражает, что спор идет не о том, нужны ли ИИ меры безопасности, а о том, кто будет писать правила и кто будет участвовать в их установлении. Этот вопрос все чаще выходит за пределы Кремниевой долины.
Генеральный секретарь ООН Антониу Гутерриш призвал к международной координации, предупредив, что ИИ пересекает границы, и поэтому его риски не могут управляться отдельными странами в одиночку. Глава ООН по правам человека, Фолькер Турк, пошел дальше, призвав к срочным действиям со стороны правительств и компаний, разрабатывающих самые передовые системы ИИ. Турк предупредил, что полагаться исключительно на добровольные отраслевые меры недостаточно, и призвал к международным правилам, основанным на законах о правах человека. Он также выразил обеспокоенность по поводу использования все более автономных агентов ИИ в военных целях и потенциального нарушения доступа к основным услугам, таким как водоснабжение, отопление и финансовые системы. Таким образом, послание ООН в целом соответствует аргументу Бенгио о том, что ИИ нельзя рассматривать просто как очередную коммерческую технологию.
Сравнимо с ядерным оружием?
Ивонна А-Баки, дипломат из Эквадора и Ливана, являющаяся кандидатом в генеральные секретари ООН, призвала регулировать ИИ способом, сравнимым с регулированием ядерного оружия. Она утверждала, что сотрудничество между Соединенными Штатами и Китаем будет особенно важным, поскольку обе страны играют центральную роль в глобальной гонке ИИ.
Однако появляются признаки того, что ИИ порождает необычные политические альянсы, а также международные разногласия. На конференции в Вашингтоне на этой неделе независимый сенатор США Берни Сандерс и бывший советник Трампа Стив Бэннон — фигуры с противоположных концов американского политического спектра — оба предупредили об опасностях, исходящих от передового ИИ. Их предложенные решения сильно различаются. Сандерс призвал к паузе в разработке искусственного сверхинтеллекта и к переговорам с Китаем, в то время как Бэннон выступал за гораздо более четкое разделение между американской и китайской отраслями ИИ. Тем не менее, их общая обеспокоенность отражает то, как дебаты об ИИ начинают пересекать традиционные политические расколы.
ИИ как полезный инструмент для обычных людей
Помимо правительств, лабораторий и залов заседаний, обычные люди пытаются понять, что означает эта технология для них. AFP опросила людей в нескольких странах на этой неделе и обнаружила смесь энтузиазма, неопределенности и страха. Студенты назвали ИИ чрезвычайно полезным инструментом для исследований и подачи заявок на работу. Некоторые пользователи отметили, что чат-боты могут предоставлять ответы и помощь, которую трудно воспроизвести с помощью традиционных сервисов.
Другие беспокоились о зависимости от технологии, потере рабочих мест или постепенной утрате способности мыслить самостоятельно. Инженер-программист из Сан-Франциско сообщил AFP, что агенты ИИ уже изменили его работу, поскольку системы все чаще пишут код, который раньше создавал сам он. В Китае один работник утверждал, что бизнес не может рассчитывать на саморегулирование и нуждается в правилах правительства. В Франции стажер-машинист отметил, что технология развивается настолько быстро, что общество не успело понять ее последствия.
Сложная часть дебатов
Возможно, это станет самой трудной частью дискуссии об ИИ. Существует широкий консенсус в том, что эта технология может принести огромную пользу — от образования и здравоохранения до научных исследований и производительности. Также растет согласие в том, что все более автономные системы требуют мер предосторожности. Неразрешенным остается вопрос о том, как быстро необходимо внедрять эти меры, кто должен их навязывать и сможет ли регулирование идти в ногу с самой технологией.
Бенгио считает, что ответ требует международных договоров и демократического надзора. ООН призывает к глобальной координации. Некоторые компании ИИ стремятся к отраслевым стандартам, в то время как другие утверждают, что конкуренция и ответственность обеспечат достаточные стимулы для повышения безопасности систем. Тем временем технология продолжает развиваться. И это оставляет мир перед лицом своеобразной гонки: не просто построить более мощный ИИ, а понять и управлять им до того, как он станет более могущественным, чем системы, созданные для его контроля.