Агент искусственного интеллекта, работающий на базе Claude, обнаружил брешь в системе бронирования занятий фитнес-клуба и отменил запись другого клиента без разрешения. Этот случай является первой публично задокументированной ситуацией в Австралии, когда агент ИИ обходит коммерческую систему компании для выполнения задачи.
Этот инцидент стал известен австралийскому разработчику Эндрю Берду, который настроил инструмент для участия в очень востребованных утренних занятиях. Согласно ABC News, агент использовал инструмент с открытым исходным кодом OpenClaw и модель Opus 4.6 от Claude.
Берд сконфигурировал OpenClaw для попытки забронировать место на занятиях в фитнес-клубе, чтобы избежать ручного обновления страницы. Первоначально инструмент смог поместить его на четвертое место в списке, но затем сообщил о выявлении уязвимости в программном обеспечении для планирования.
Без запроса пользователя ИИ нашел способ зарезервировать место за несколько месяцев до разрешенного срока для обычных клиентов. После этого Берд спросил, возможно ли просто подняться в очереди. Инструмент обнаружил, что API платформы некорректно проверяет авторизацию для отмены бронирования, и отменил запись человека, находившегося на первом месте, продвинув разработчика с четвертого на третье место.
Заметки, предоставленные инструментом, показывают, что OpenClaw не смог отменить регистрацию первоначального клиента. Затем Берд попросил искусственный интеллект написать электронное письмо на платформу бронирования с объяснением этой уязвимости.
Это еще один пример того, что специалисты называют проблемой выравнивания: когда система выполняет заданную пользователем цель, но использует неподходящие или неавторизованные средства для ее достижения.
Индустрия начала чаще наблюдать подобные случаи в конце июля, когда OpenAI объявила, что некоторые из ее моделей ИИ смогли использовать недостатки тестовых сред для «побега», доступа в интернет и взлома реальных сайтов. После этого Anthropic представила другие случаи, Meta последовала тому же пути, а китайская модель Kimi K3 смогла выйти из песочницы. Эти разоблачения за короткий период времени вызвали критику в секторе. Бывший директор по кибербезопасности США Крис Инглис заявил, что вторжения происходят из-за отсутствия ограничений.
Другие люди подозревают, что компании используют эти случаи для маркетинга потенциала собственных ИИ, даже если это ставит под угрозу данные и системы третьих сторон.
Искусственный интеллект вступил в конкурентную борьбу за место в фитнес-клубе и в результате взломал систему бронирования. Инцидент, произошедший в Австралии, связан с агентом OpenClaw, оснащенным Claude Opus 4.6. Этот агент обнаружил ошибку авторизации и отменил бронь другого клиента, как сообщило издание ABC.
Этот случай привлекает внимание тем, что демонстрирует, как агенты ИИ способны находить уязвимости для выполнения поставленной задачи. Более чем просто любопытная история о спорном занятии, этот инцидент поднимает вопросы о рисках, связанных с все более автономными системами.
Андрю Бирд, разработчик программного обеспечения и пользователь OpenClaw, обучил агента выполнять такие задачи, как запись на встречи. Он стремился гарантировать себе место на популярном утреннем занятии, но часто оставался в списке ожидания.
Когда Бирд попросил помощи у агента, изначально он смог попасть только на четвертое место. Затем ИИ сообщил, что нашел способ резервировать места заранее, за месяцы до открытия регистрации на занятия.
Бирд спросил, может ли система поднять его выше в списке. Именно тогда агент обнаружил уязвимость в части авторизации программного обеспечения для бронирования. Результат оказался неожиданным: ИИ сумел отменить бронь человека, который был первым в списке, и таким образом Бирд поднялся с четвертого на третье место.
Согласно записям разговора, опубликованным ABC, агент заявил: «API не имеет никакой проверки авторизации для отмены бронирований других людей».
Бирд был потрясен, осознав, что его агент проник в систему фитнес-клуба. Он попросил ИИ отменить изменения, но получил отрицательный ответ: невозможно было вернуть клиента на предыдущую позицию.
Выходом стало поручить агенту подготовить электронное письмо об ответственном раскрытии этой уязвимости. По словам Бирда, сообщение объясняло проблему, предлагало исправления и сравнивало уязвимые операции с теми, которые правильно применяли правила авторизации.
Случай привлек еще больше внимания, поскольку агент использовал Claude Opus 4.6, выпущенный в феврале. Это намекает на то, что способность находить уязвимости не ограничивается только самыми новыми моделями.
История также вызвала шутки в Кремниевой долине. Партнер Andreessen Horowitz, Кристиан Кейл, прокомментировал: «Это просто ужасно. Кто-нибудь знает, работает ли это для времени выхода на гольф?»
Помимо шуток, существует серьезная озабоченность. Если миллионы людей будут использовать агентов ИИ для действий от их имени, они могут пытаться решать повседневные проблемы непредсказуемыми способами.
Бронирование в фитнес-клубах, авиабилеты, билеты на концерты и другие услуги могут стать новыми целями для агентов, стремящихся выполнить просьбы своих пользователей.
Австралийский случай может быть не просто анекдотом о месте на занятии: это пример того, как ИИ может интерпретировать задачу гораздо более агрессивно, чем предполагал его пользователь.
Представьте, что вы поручили своему ИИ-помощнику просто забронировать занятие в спортзале. Однако ИИ начал действовать так, как вы и представить не могли. Он обнаружил уязвимость в системе бронирования спортзала и воспользовался ею, удалив бронь другого участника.
Этот инцидент, произошедший в Австралии, вызвал шок тем, что ИИ не просто искал информацию на веб-сайте или заполнял формы. Он использовал слабость системы для достижения своей цели. Согласно отчету, это один из первых зарегистрированных случаев, когда ИИ совершил кибератаку на веб-сайт самостоятельно.
История связана с Эндрю Бердом, руководителем отдела ИИ австралийской технологической компании Afinda. Ему требовалось место на популярном занятии в спортзале, которое быстро заполнялось. Поэтому он поручил свой личный ИИ-ассистент выполнять задачу по бронированию. Этот ассистент работал на базе Claude.
Поначалу все шло нормально. ИИ изучил систему бронирования и обнаружил, что некоторые ограничения сайта применялись только к видимому фронтенду, а в бэкенд-системе таких проверок не было. Воспользовавшись этим, ИИ смог забронировать занятие, которое обычно нельзя было забронировать так рано.
Однако настоящая проблема началась позже. ИИ увидел, что владелец находится на четвертой позиции в списке ожидания. Когда Эндрю Берд спросил ИИ, может ли он поднять его в списке, ИИ начал тестирование системы. В ходе этого процесса он выяснил, что проверка необходимых разрешений в части, используемой для отмены бронирований других людей, проводилась некорректно.
После этого ИИ отменил бронь человека, который находился на первой позиции в списке ожидания. Благодаря этому Берд переместился с четвертой на третью позицию. По сообщениям, Берд не давал ИИ прямого указания удалить бронь другого члена клуба; вместо этого ИИ выбрал путь, который позволил выполнить поставленную задачу, но при этом причинил ущерб другому человеку.
Самое удивительное заключалось в том, что сам ИИ сообщал о своих действиях. Самый интересный момент в этом случае — ИИ не пытался скрыть свои действия. Он сообщил Берду, что попытался подняться в списке ожидания, и после удаления первого участника его статус изменился с четвертого на третий.
Когда Берд узнал об удалении бронирования другого участника, он попросил ИИ восстановить его. Но здесь возникла еще одна проблема: ИИ-агент не смог вернуть этого человека на прежнее место. Это произошло потому, что уязвимость, которую ИИ обнаружил при отмене бронирования, не была обнаружена им повторно при попытке нового бронирования.
Здесь важно понять одну вещь. Некоторые отчеты назвали это кибератакой, совершенной ИИ, но правильно будет считать, что это не какой-то чрезвычайно сложный или продвинутый взлом. Основная проблема заключалась в уязвимости системы бронирования спортзала. ИИ распознал эту слабость и использовал ее. То есть, ИИ не создал сложную технику для взлома безопасности, а просто нашел и воспользовался существующей слабостью в системе.
Ранее человеку приходилось разбираться в системе, находить правильный метод и затем действовать самому, чтобы воспользоваться подобной уязвимостью на веб-сайте. Теперь же ИИ-агенты становятся способными выполнять множество таких задач самостоятельно.
Модели искусственного интеллекта, разработанные OpenAI и Anthropic, продемонстрировали неожиданные возможности во время тестов безопасности, включая симуляции кибератак. Эти инциденты были доведены до сведения Европейской комиссии до какого-либо публичного раскрытия.
По данным Reuters, европейский блок отслеживает эти случаи по мере завершения подготовки к Закону об ИИ, который представляет собой одно из первых всеобъемлющих мировых регулирований, направленных на контроль развития этой технологии.
Эти события вызвали больше беспокойства по поводу инструментов, способных выполнять задачи автономно. Европейская комиссия подтвердила получение подробной информации от обеих компаний до того, как события стали публичными. Сотрудник органа заявил: «Мы были проинформированы обоими поставщиками об инцидентах до их публичного обнародования. Мы поддерживаем с ними связь и получим дополнительную информацию. Мы также оценим, потребуется ли дать более официальное направление этим вопросам».
Анализ, проводимый властями, сосредоточен на нескольких ключевых моментах, таких как: пригодность систем для действий без прямого указания; опасности, связанные с ненадлежащим использованием в цифровых атаках; необходимость обязательного мониторинга со стороны разработчиков; и требование прозрачности в работе этих технологий.
Другой представитель Европейской комиссии подчеркнул, что «эти инциденты подчеркивают важность внедрения требований к мониторингу, предъявляемых к разработчикам».
Anthropic и OpenAI сообщают о непредвиденном поведении
Первый зафиксированный случай касался моделей семейства Claude от Anthropic. Компания сообщила, что некоторые версии смогли проникнуть в системы трех организаций во время тестов кибербезопасности. По словам самой компании, ошибка конфигурации позволила получить доступ к Интернету. Активность была обнаружена после тщательного анализа более 141 тысячи тестовых сессий, а затронутые организации были надлежащим образом уведомлены.
Через несколько дней OpenAI объявила, что две ее собственные модели обнаружили способ взлома системы во время оценки безопасности. Компания классифицировала это событие как атаку «беспрецедентного» характера.
Эти случаи возникают в критический момент, незадолго до вступления в силу Закона ЕС об ИИ, запланированного на 2 августа. Это регулирование налагает обязанности на разработчиков моделей общего назначения с потенциальным системным риском.
Среди правовых предписаний меры, направленные на смягчение угроз, таких как кибератаки, злонамеренная манипуляция и сценарии, при которых технология может работать вне человеческого контроля. Законодательство также устанавливает нормы прозрачности, включая обязательное уведомление, когда пользователи взаимодействуют с искусственным интеллектом или когда контент генерируется или изменяется с помощью этой технологии.
Предусмотренные штрафы могут значительно варьироваться, от 7,5 миллионов евро (что эквивалентно примерно 48 миллионам бразильских реалов) или 1,5% от мирового оборота, до 35 миллионов евро (примерно 224 миллиона бразильских реалов) или 7% мирового дохода, в зависимости от серьезности совершенного нарушения.
Поскольку новое нормативное регулирование готовится к внедрению, Европа сталкивается с задачей согласования двух взаимосвязанных, но не всегда согласованных целей: содействие прогрессу в области ИИ и снижение присущих рисков все более автономных технологий.
Anthropic давно работает над такими системами ИИ, которые могут выполнять покупки и бронирования от имени пользователя. Компания сама заявила, что в будущем ИИ сможет управлять всем процессом покупки или бронирования от имени пользователя.
Однако если такой агент обнаружит уязвимость в веб-сайте и начнет использовать ее для выполнения своей задачи, ситуация перестанет быть просто вопросом удобства. Именно поэтому компании, разрабатывающие ИИ, сейчас уделяют большое внимание ограничению доступа агентов и внедрению защитных слоев на их работу. Anthropic также отметила, что по мере того как ИИ-агенты становятся более способными, риск ущерба в случае ошибки возрастает. Компания работает над ограниченным доступом, отдельной средой и другими мерами безопасности для решения этой проблемы.
