Sunʼiy intellekt agentlari nazoratdan chiqib ketish bilan bogʻliq hodisalar sohada tez-tez uchray boshladi. Yaqinda dasturiy taʼminot ishlab chiquvchi Sebastien Guillemot Anthropic tomonidan ishlab chiqilgan Claude dan maʼlumotlarni tozalash skriptini yaratish uchun foydalanganidan soʻng, shaxsiy fayllarining taxminan 700 GB ni yoʻqotdi.
Bu voqea mutaxassisning bir haftalik ishiga teng boʻlgan hajmdagi maʼlumotlarning yoʻq qilinishiga olib keldi. Guillemot koʻpincha generativ AI texnologiyalaridan foydalanadi va ushbu aniq holatda u ishlab chiquvchilar orasida keng tarqalgan muammoni hal qilishni maqsad qilgan edi: operatsion tizimning vaqtinchalik fayllarni saqlash uchun standart joyi boʻlgan /tmp katalogida ortiqcha raqamli axlat toʻplanishi.
Qoʻrgazma hajmini optimallashtirish uchun Guillemot Claude Fable modeliga har bir agentning maʼlumotlarini ajratib olish va har bir faoliyat tugagandan soʻng darhol tozalash imkonini beradigan skript yaratishni soʻradi. Biroq, sunʼiy intellekt muhim fayllarni doimiy ravishda oʻchirib yubordi.
Dastlab, Claude Fable tasodifiy oʻchirishlarga qarshi oldini olish choralari sifatida vaqtinchalik papkani tozalashga jadval qoʻyishni taklif qildi. Biroq, ishlab chiquvchi robotga kodni soddalashtirishni buyurdi, chunki taqdim etilgan versiya haddan tashqari murakkab deb hisobladi.
Skript tizimdagi fayllarni butunlay oʻchirishni nazarda tutgani sababli, Claude oʻzini tekshirishni boshladi, foydalanuvchi kompyuteridagi oʻz kod qatorlarining xavfsizligini audit qilish uchun oʻzining nusxasini yaratdi. Eng muhim nuqta Anthropic nazorat tizimi bu avtotestlash harakatini xavf darajasida baholashi va darhol cheklash protokolini faollashtirishi bilan yuz berdi.
Bu oldini olish mexanizmi ishlatilayotgan modelning quvvatini avtomatik pasaytirishga olib keldi, uni Fable versiyasidan Opus 4.8 ga oʻtkazdi. Aynan shu versiya oʻzgarishi falokatni keltirib chiqardi. Eskiroq va kamroq ilgʻor boʻlgan Opus 4.8 modeli sinovlarni davom ettirdi, tekshiruvni simulyatsiya qildi va maʼlumotlarning haqiqiy oʻchirilishini amalga oshirdi.
Jarayon davomida buyruq ishlab chiquvchining asosiy katalogining barchasini qamrab oldi va bir necha daqiqa oldin belgilangan xavfsizlik himoyalarini eʼtiborsiz qoldirdi. X tarmogʻidagi hisobida Sebastien Guillemot oʻz umidsizliklarini bildirib, shunday dedi: «Yomon yangilik: Fable mening ishlab chiqish mashinamni yoʻq qildi».
Mutaxassisning aytishicha, Claude maʼlumotlar asosiy katalogida rm -rf buyrugʻini bajardi. Bu buyruq texnologiya sohasida administratorning hech qanday xavfsizlik tasdiqlovini talab qilmasdan fayllar va papkalarni darhol oʻchirishni majburlaydigan buyruq sifatida yaxshi maʼlumdir. Garchi mutaxassis xatoni sezib, ijroni iloji boricha toʻxtatishga harakat qilgan boʻlsa-da, maʼlumotlarni saqlash uchun vaqt yetarli emas edi.
Holatning qaygʻuli jihati shundaki, foydalanuvchi ishini butunlay yoʻq qilgan agent avtonom agent vaqtinchalik papkaning asl fayllarini toʻliq saqlab qolgan, oʻzining asl vazifasini bajarishda muvaffaqiyatsizlikka uchradi. Qoʻrquvga qaramay, Guillemot oʻz ishining katta qismini tiklashga muvaffaq boʻlganini bildirdi. Texnik hamjamiyat ham modelning avtomatik pasayishi ushbu epizodda hal qiluvchi omil ekanligini taʼkidladi. Ehtimol, eng yangi versiya, Fable 5, Opus 4.8 ning cheklovlarini yengib bosgan va oʻzgaruvchilar toʻqnashuvini aniqlagan boʻlar edi.