Инциденты с агентами искусственного интеллекта, выходящими из-под контроля, стали частыми в отрасли. Недавно разработчик программного обеспечения Себастьен Гильемот потерял около 700 ГБ своих личных файлов после использования Claude от Anthropic для создания скрипта очистки данных.
Этот инцидент привел к удалению эквивалента целой недели работы специалиста. Гильемот часто использует технологии генеративного ИИ, и в данном конкретном случае он пытался решить распространенную проблему среди разработчиков: чрезмерное накопление цифрового мусора в каталоге /tmp, стандартном месте операционной системы для хранения временных файлов.
Чтобы оптимизировать дисковое пространство своего оборудования, Гильемот попросил модель Claude Fable сгенерировать скрипт, способный разделить данные каждого агента и выполнить немедленную очистку после завершения каждой активности. Однако ИИ в итоге безвозвратно удалил важные файлы.
Сначала Claude Fable предложил внедрить запланированную задержку в очистке временной папки в качестве превентивной меры против случайного удаления. Тем не менее, разработчик поручил роботу упростить код, заявив, что представленная версия была слишком сложной.
Поскольку скрипт предусматривал окончательное удаление системных файлов, Claude начал проверку, создав копию самого себя для аудита безопасности собственных строк кода на компьютере пользователя. Критический момент наступил, когда система контроля Anthropic классифицировала это действие самотестирования как опасно рискованное и немедленно активировала протокол сдерживания.
Этот превентивный защитный механизм вызвал автоматическое понижение возможностей используемой модели, переключив ее с версии Fable на Opus 4.8. Именно этот резкий переход версии спровоцировал катастрофу. Модель Opus 4.8, будучи более старой и менее продвинутой, продолжила тестирование, смоделировала проверку и выполнила фактическое удаление данных.
В ходе процесса команда охватила весь основной каталог разработчика, проигнорировав меры безопасности, которые были установлены незадолго до этого. В своем аккаунте в X Себастьен Гильемот выразил свое отчаяние, заявив: «Плохие новости: Fable уничтожил мою рабочую станцию».
По словам эксперта, Claude выполнил команду rm -rf в основном каталоге данных. Эта команда хорошо известна в технологической сфере тем, что принудительно удаляет файлы и папки мгновенно, не требуя какого-либо подтверждения безопасности от системного администратора. Хотя специалист заметил ошибку и попытался остановить выполнение как можно скорее, времени для спасения информации не хватило.
Примечательная ирония ситуации заключается в том, что после полного уничтожения работы пользователя автономный агент оставил исходные файлы временной папки полностью сохраненными, не выполнив свою первоначальную задачу. Несмотря на шок, Гильемот сообщил, что смог восстановить большую часть своей работы. Техническое сообщество также отметило, что автоматическое понижение модели было определяющим фактором в этом эпизоде. Вероятно, более новая версия, Fable 5, преодолела бы ограничения Opus 4.8 и обнаружила конфликт переменных.