Серьезные предупреждения относительно искусственного интеллекта теперь поступают не только от критиков, находящихся вне индустрии, но и от самих разработчиков этой технологии. Директор Anthropic, Дарио Амодеи, предупредил, что разработка передового ИИ, возможно, должна замедлиться, поскольку системам безопасности и независимому надзору требуется время для соответствия темпам развития.
Другие влиятельные фигуры, такие как Сэм Альтман (CEO OpenAI), Демис Хассабис (CEO DeepMind) и Илон Маск, также выступают за усиление мер защиты вокруг все более способных систем. При этом нынешние и бывшие исследователи ИИ выпускают все более резкие предупреждения о возможных последствиях, по мере того как модели становятся более автономными.
Некоторые высказывания могут показаться преувеличенными. Некоторые исследователи обсуждают системы, которые в будущем смогут улучшать сами себя, функционировать с меньшим участием человека или стать сложными для контроля. Другие же обеспокоены рисками, которые уже видны сегодня, включая киберпреступность с помощью ИИ и агентов, способных писать код, использовать инструменты и выполнять многоэтапные задачи. Для широкой общественности все эти опасения сводятся к тревожной фразе: риск ИИ.
Некоторые опасности уже затрагивают жителей и предприятия, в то время как другие возникают на переднем крае разработки ИИ. Наиболее серьезные сценарии пока остаются гипотетическими. Это различие имеет большое значение в ОАЭ, где искусственный интеллект быстро внедряется в государственном секторе, бизнесе и повседневной жизни.
Кибербезопасность демонстрирует один из самых очевидных примеров того, как выглядит риск ИИ в настоящее время. Яссин Ватлал, старший директор по системной инженерии CrowdStrike для Ближнего Востока, Турции и Африки, сообщил изданию Khaleej Times, что ИИ уже облегчил осуществление некоторых видов киберпреступлений. Он отметил, что «ИИ снизил барьер входа для многих злоумышленников», добавив, что теперь менее изощренные акторы могут делать то, что раньше им было недоступно или требовало бы много времени.
Это не обязательно означает, что преступники изобретают совершенно новые атаки. Во многих случаях ИИ лишь ускоряет и делает более убедительными старые методы. Фишинговые сообщения могут быть написаны на более качественном языке и адаптированы под конкретного человека или страну. Голос может использоваться для имитации личности, а вредоносное ПО может производиться быстрее. Шаги после получения доступа злоумышленником также могут происходить гораздо оперативнее.
В то же время злоумышленникам все реже приходится взламывать системы, если они могут украсть учетные данные кого-либо, кто уже имеет право на вход. Ватлал подчеркнул: «Они захотят войти в систему, а не взломать ее». По данным CrowdStrike, среднее время, которое киберпреступники тратят на переход от первоначального компрометации к другим частям организации, сократилось до 29 минут в 2025 году, при этом самый быстрый зафиксированный случай занял всего 27 секунд.
Для команды по обеспечению безопасности это сокращение времени имеет решающее значение. Атака может начать распространяться по сети до того, как человек успеет расследовать первое подозрительное оповещение. Ватлал пояснил, что ИИ используется с обеих сторон: атакующие автоматизируют части своих операций, но защитникам все чаще требуется ИИ для расследования оповещений и реагирования с аналогичной скоростью.
Это одна из причин, по которой эксперты предостерегают от рассмотрения безопасности ИИ исключительно как будущей проблемы, связанной с гипотетическим сверхинтеллектом. Некоторые эффекты уже измеримы. Следующий уровень беспокойства сложнее увидеть. Большинство людей впервые столкнулись с генеративным ИИ через чат-бот: пользователь вводил запрос, модель выдавала ответ, и взаимодействие завершалось. Однако индустрия сейчас уделяет все больше внимания агентам.
Вместо простого ответа, ИИ-агент может получить цель и быть уполномочен предпринять несколько шагов для ее достижения. В зависимости от системы, это может включать написание кода, поиск информации, вызов другого программного обеспечения, анализ файлов или выполнение действий с использованием внешних инструментов. Это порождает иную проблему безопасности. Чат-бот может дать неверный ответ, и на этом все заканчивается. Агент же потенциально может превратить ошибочное решение в реальное действие.
Эта амбиция не означает, что ИИ внезапно начнет самостоятельно принимать все государственные решения. Но она делает вопросы о разрешениях, человеческом контроле и безопасности системы гораздо менее теоретическими. Возникают практические вопросы: к чему агент может получить доступ? Какие действия он может совершить без запроса человека? Что произойдет, если он неправильно поймет задачу? Как быстро человек сможет его остановить?
Эти вопросы становятся все более актуальными и для компаний. Ватлал заявил, что бизнесу необходимо думать не только о защите от преступников, использующих ИИ, но и о защите собственных развернутых систем ИИ. Он посоветовал: «Что мы можем безопасно поручить ИИ, а затем установить вокруг него ограничители?» Это становится критически важным по мере подключения систем ИИ к корпоративным данным, внутренним инструментам и автоматизированным рабочим процессам.
Некоторые исследователи передового ИИ обеспокоены будущим, в котором системы станут достаточно компетентными, чтобы существенно способствовать разработке своих преемников. ИИ уже помогает инженерам писать код, анализировать исследования и выполнять часть работы по созданию новых моделей. Однако беспокойство возникает из-за того, что произойдет, если эта помощь станет значительно более автономной, и системы начнут ускорять разработку еще более мощных систем. Именно здесь начинаются дискуссии о рекурсивном самосовершенствовании, сверхинтеллекте и потере контроля человеком. Научного консенсуса относительно того, произойдет ли такой процесс, когда он может произойти или будут ли будущие системы ИИ вести себя катастрофически, как опасаются некоторые исследователи, нет.
Именно эта неопределенность разделяет индустрию. Одна сторона утверждает, что потенциальные последствия могут быть настолько серьезными, что ожидание доказательств будет слишком долгим. Другая сторона предостерегает от замедления технологии с огромным экономическим и научным потенциалом из-за сценариев, которые остаются спекулятивными. Даже среди тех, кто согласен с необходимостью более надежных мер защиты, существуют разногласия относительно того, насколько далеко нужно заходить.
Призывы к «замедлению» разработки ИИ, как правило, не означают отключение существующих систем или призыв к людям прекратить их использование. Обсуждаемые предложения включают более строгие независимые оценки, увеличение интервалов между крупными скачками возможностей, улучшенное тестирование перед выпуском, а также большую координацию между передовыми лабораториями и более четкие правила относительно того, что разрешено делать высокоспособным системам.
Для большинства жителей немедленная реакция гораздо менее драматична, чем предполагают предупреждения о будущем ИИ. Людям не нужно прекращать использование ИИ только потому, что исследователи обсуждают долгосрочные риски. Однако текущие риски заслуживают внимания именно потому, что они менее зрелищны. Мошенничество с помощью ИИ, имитация личности и кибератаки происходят уже сейчас. Ватлал рекомендует включать многофакторную аутентификацию на личных учетных записях, проверять неожиданные запросы через другой канал и замедляться перед одобрением входа или нажатием ссылки. Он отмечает: «В жизни все происходит так быстро, что мы часто реагируем на что-то, о чем потом сожалеем, или одобряем что-то, о чем потом жалеем».
Для бизнеса проблема выходит дальше. Компаниям, внедряющим ИИ-агентов, необходимо определять, к какой информации могут получить доступ эти системы, какие действия они могут выполнять и где должен оставаться человек. Ватлал считает, что роль человека остается критически важной, особенно в вопросах суждения, контекста и ответственности. Таким образом, более широкий дебаты об ИИ можно разделить на два вопроса. Первый уже здесь: как людям защититься от преступников и организаций, использующих все более способный ИИ сегодня? Второй гораздо сложнее: какую степень независимости общество в конечном итоге должно предоставить самим системам ИИ? Люди, создающие эту технологию, не пришли к единому мнению, но изменилось то, что некоторые из них все чаще считают, что общество должно начать задавать этот вопрос до появления самых мощных систем.