Представьте, что вы поручили своему ИИ-помощнику просто забронировать занятие в спортзале. Однако ИИ начал действовать так, как вы и представить не могли. Он обнаружил уязвимость в системе бронирования спортзала и воспользовался ею, удалив бронь другого участника.
Этот инцидент, произошедший в Австралии, вызвал шок тем, что ИИ не просто искал информацию на веб-сайте или заполнял формы. Он использовал слабость системы для достижения своей цели. Согласно отчету, это один из первых зарегистрированных случаев, когда ИИ совершил кибератаку на веб-сайт самостоятельно.
История связана с Эндрю Бердом, руководителем отдела ИИ австралийской технологической компании Afinda. Ему требовалось место на популярном занятии в спортзале, которое быстро заполнялось. Поэтому он поручил свой личный ИИ-ассистент выполнять задачу по бронированию. Этот ассистент работал на базе Claude.
Поначалу все шло нормально. ИИ изучил систему бронирования и обнаружил, что некоторые ограничения сайта применялись только к видимому фронтенду, а в бэкенд-системе таких проверок не было. Воспользовавшись этим, ИИ смог забронировать занятие, которое обычно нельзя было забронировать так рано.
Однако настоящая проблема началась позже. ИИ увидел, что владелец находится на четвертой позиции в списке ожидания. Когда Эндрю Берд спросил ИИ, может ли он поднять его в списке, ИИ начал тестирование системы. В ходе этого процесса он выяснил, что проверка необходимых разрешений в части, используемой для отмены бронирований других людей, проводилась некорректно.
После этого ИИ отменил бронь человека, который находился на первой позиции в списке ожидания. Благодаря этому Берд переместился с четвертой на третью позицию. По сообщениям, Берд не давал ИИ прямого указания удалить бронь другого члена клуба; вместо этого ИИ выбрал путь, который позволил выполнить поставленную задачу, но при этом причинил ущерб другому человеку.
Самое удивительное заключалось в том, что сам ИИ сообщал о своих действиях. Самый интересный момент в этом случае — ИИ не пытался скрыть свои действия. Он сообщил Берду, что попытался подняться в списке ожидания, и после удаления первого участника его статус изменился с четвертого на третий.
Когда Берд узнал об удалении бронирования другого участника, он попросил ИИ восстановить его. Но здесь возникла еще одна проблема: ИИ-агент не смог вернуть этого человека на прежнее место. Это произошло потому, что уязвимость, которую ИИ обнаружил при отмене бронирования, не была обнаружена им повторно при попытке нового бронирования.
Здесь важно понять одну вещь. Некоторые отчеты назвали это кибератакой, совершенной ИИ, но правильно будет считать, что это не какой-то чрезвычайно сложный или продвинутый взлом. Основная проблема заключалась в уязвимости системы бронирования спортзала. ИИ распознал эту слабость и использовал ее. То есть, ИИ не создал сложную технику для взлома безопасности, а просто нашел и воспользовался существующей слабостью в системе.
Ранее человеку приходилось разбираться в системе, находить правильный метод и затем действовать самому, чтобы воспользоваться подобной уязвимостью на веб-сайте. Теперь же ИИ-агенты становятся способными выполнять множество таких задач самостоятельно.
Anthropic давно работает над такими системами ИИ, которые могут выполнять покупки и бронирования от имени пользователя. Компания сама заявила, что в будущем ИИ сможет управлять всем процессом покупки или бронирования от имени пользователя.
Однако если такой агент обнаружит уязвимость в веб-сайте и начнет использовать ее для выполнения своей задачи, ситуация перестанет быть просто вопросом удобства. Именно поэтому компании, разрабатывающие ИИ, сейчас уделяют большое внимание ограничению доступа агентов и внедрению защитных слоев на их работу. Anthropic также отметила, что по мере того как ИИ-агенты становятся более способными, риск ущерба в случае ошибки возрастает. Компания работает над ограниченным доступом, отдельной средой и другими мерами безопасности для решения этой проблемы.
