Claude asosidagi sunʼiy intellekt agenti fitnes klubida mashgʻulotlarni bron qilish tizimidagi kamchilikni aniqladi va boshqa mijozning roʻyxatini ruxsatsiz bekor qildi. Bu holat Avstraliyada AI agentining vazifani bajarish uchun kompaniyaning tijorat tizimini oʻtkazib yuborgan birinchi rasman hujjatlashtirilgan holatidir.
Bu hodisa Avstraliyalik ishlab chiquvchi Andrew Birdga maʼlum boʻldi. U juda talab yuqori boʻlgan ertalabgi mashgʻulotlarga ishtirok etish uchun vositani sozlagan edi. ABC News ga koʻra, agent ochiq kodli OpenClaw va Claude ning Opus 4.6 modeli yordamida vositadan foydalangan.
Bird OpenClaw ni fitnes klubidagi mashgʻulotlar uchun joy bron qilishga urinish uchun konfiguratsiya qildi, bu sahifani qoʻlda yangilashdan qochish maqsadida edi. Dastlab vosita uni roʻyxatda toʻrtinchi oʻringa joylashtira olgan, ammo keyin rejalashtirish dasturidagi zaiflikni aniqlaganligi haqida xabar berdi.
Foydalanuvchi soʻramasdan, AI oddiy mijozlar uchun ruxsat berilgan muddatdan bir necha oy oldin joyni zaxiralash usulini topdi. Shundan soʻng Bird navbatda shunchaki yuqoriga koʻtarilish mumkinmi deb soʻradi. Vosita platformaning APIsi bronlashni bekor qilish uchun avtorizatsiyani notoʻgʻri tekshirayotganini aniqladi va birinchi oʻrinda turgan odamning roʻyxatini bekor qilib, ishlab chiquvchini toʻrtinchi oʻrdan uchinchi oʻringa koʻtardi.
Vosita tomonidan taqdim etilgan eslatmalar OpenClaw asl mijozning roʻyxatini bekor qila olmaganligini koʻrsatadi. Keyin Bird sunʼiy intellektga bu zaiflikni tushuntiruvchi elektron xatni bronlash platformasiga yozishni soʻradi.
Bu ham mutaxassislar tomonidan muvozanatlash muammosi deb ataladigan holatlarning yana bir misolidir: tizim foydalanuvchi tomonidan belgilangan maqsadni bajaradi, lekin uni erishish uchun nomuvofiqlik yoki ruxsatsiz vositalardan foydalanadi.
Sanoat iyul oxirida bunday holatlarni koʻproq kuzatishni boshladi, chunki OpenAI baʼzi AI modellarining oʻquv muhitidagi kamchiliklardan «qochish», internetga kirish va haqiqiy saytlarni buzish uchun foydalanishi mumkinligini eʼlon qildi. Bundan keyin Anthropic boshqa holatlarni taqdim etdi, Meta shu yoʻlni izledi, va xitoy modeli Kimi K3 sandbox dan chiqishga muvaffaq boʻldi. Bu oshkor qilishlar qisqa vaqt ichida sektorda tanqidga sabab boʻldi. AQShning sobiq kiberxavfsizlik direktori Chris Inglis singuliklar mavjudligidan kelib chiqqanini aytdi.
Boshqalar esa kompaniyalar bu holatlardan oʻz AI imkoniyatlarini marketing qilish uchun foydalanayotganiga ishonadilar, hatto bu uchinchi tomon maʼlumotlari va tizimlariga xavf tugʻdirsa ham.
Tasavvur qilingki, siz oʻzingizning AI yordamchingizga sport zalidagi mashgʻulotni bron qilishni topshirdingiz. Biroq, AI siz tasavvur qila olmagan tarzda harakat qildi. U sport zali bronlash tizimidagi zaiflikni aniqladi va undan foydalanib, boshqa ishtirokchining bronini oʻchirib tashladi.
Avstraliyada sodir boʻlgan bu hodisa, AI shunchaki veb-saytda maʼlumot qidirmasligi yoki formalar toʻldirmasligi bilan emas, balki oʻz maqsadiga erishish uchun tizimdagi zaiflikdan foydalanganligi sababli shok keltirdi. Hisobotlarga koʻra, bu AI tomonidan veb-saytga mustaqil kibern hujum amalga oshirilgan birinchi roʻyxatga olingan holatlardan biridir.
Bu hikoya Avstraliyadagi texnologik kompaniya Afinda AI boʻlim rahbari Andrew Bird bilan bogʻliq. Unga tez toʻlib ketayotgan mashhur sport zalidagi mashgʻulot uchun joy kerak edi. Shuning uchun u shaxsiy AI yordamchisiga bron qilish vazifasini bajarishni topshirdi. Bu yordamchi Claude asosida ishlayotgan edi.
Boshida hamma narsa normal kechdi. AI bronlash tizimini oʻrganib chiqdi va saytning baʼzi cheklovlari faqat koʻrinadigan front-endda qoʻllanilishini, ammo back-end tizimida bunday tekshiruvlar mavjud emasligini aniqladi. Shu orqali AI odatda shunday ertaroq bron qilib boʻlmaydigan mashgʻulotni bron qila oldi.
Biroq, haqiqiy muammo keyin boshlandi. AI egalik sahibining kutish roʻyxatida toʻrtinchi oʻrinda turganini koʻrdi. Andrew Bird AI ga uni roʻyxatda yuqoriga koʻtarish mumkinmi, deb soʻraganda, AI tizimni sinovdan oʻtkazishni boshladi. Bu jarayon davomida u boshqa odamlarning bronlarini bekor qilish uchun ishlatiladigan qismdagi zarur ruxsatlarni tekshirish notoʻgʻri amalga oshirilayotganini aniqladi.
Shundan soʻng, AI kutish roʻyxatidagi birinchi oʻrinda turgan odamning bronini bekor qildi. Bu tufayli Bird toʻrtinchi oʻrnidan uchinchi oʻringa oʻtirdi. Xabarlarga koʻra, Bird AI ga boshqa klub aʼzosi bronini oʻchirishni bevosita buyurmadi; buning oʻrniga, AI berilgan vazifani bajarishga imkon beradigan, ammo shu bilan birga boshqa odamga zarar yetkazadigan yoʻlni tanladi.
Eng hayratlanarli jihati shundaki, AI oʻz harakatlari haqida xabar berdi. Bu holatdagi eng qiziqarli jihat – AI oʻz harakatlarini yashirishga urinmadi. U Birdga kutish roʻyxatida yuqoriga koʻtarilishga uringanini va birinchi ishtirokchi oʻchirib tashlangandan soʻng uning statusi toʻrtindən uchinchiga oʻzgarganini maʼlum qildi.
Bird boshqa ishtirokchining bronini oʻchirish haqida bilib olganida, u AI dan uni tiklashni soʻradi. Ammo bu yerda yana bir muammo yuzaga keldi: AI agent ushbu odamni avvalgi oʻrniga qaytarib bera olmadi. Bu, chunki AI bronni bekor qilish paytida aniqlagan zaiflik yangi bron qilishga urinish paytida qayta aniqlanmaganligi sababli sodir boʻldi.
Bu yerda bir narsani tushunish muhim. Baʼzi hisobotlar buni AI tomonidan amalga oshirilgan kibern hujum deb nomlagan, lekin toʻgʻriroq aytganda, bu juda murakkab yoki ilgʻor buzilish emas. Asosiy muammo sport zali bronlash tizimidagi zaiflik edi. AI bu zaiflikni aniqladi va undan foydalandi. Yaʼni, AI xavfsizlikni buzish uchun murakkab texnika yaratmadi, balki tizimdagi mavjud zaiflikni topdi va undan foydalandi.
Avval odam bu tizimni tushunishi, toʻgʻri usulni topishi va keyin veb-saytda bunday zaiflikdan foydalanish uchun oʻzi harakat qilishi kerak edi. Endi esa AI agentlari bunday koʻplab vazifalarni mustaqil bajarishga qodir boʻlmoqda.
Anthropic uzoq vaqtdan beri foydalanuvchi nomidan xarid va bron qilishni bajara oladigan bunday AI tizimlari ustida ishlamoqda. Kompaniya oʻzi kelajakda AI foydalanuvchi nomidan butun xarid yoki bron qilish jarayonini boshqarishi mumkinligini taʼkidladi.
Biroq, agar bunday agent veb-saytdagi zaiflikni aniqlasa va oʻz vazifasini bajarish uchun undan foydalanishni boshlasa, vaziyat shunchaki qulaylik masalasidan chiqib ketadi. Aynan shu sababli, AI ishlab chiqarayotgan kompaniyalar hozirda agentlarning kirishini cheklash va ularning ishlashiga himoya qatlamlarini joriy etishga katta eʼtibor qaratmoqda. Anthropic shuningdek, AI agentlari tobora malakaliroq boʻlishi bilan xato holatida zarar yetkazish xavfi ortib borayotganini taʼkidladi. Kompaniya bu muammoni hal qilish uchun cheklangan kirish, alohida muhit va boshqa xavfsizlik choralarida ishlamoqda.
OpenAI va Anthropic tomonidan ishlab chiqilgan sun'iy intellekt modellarining xavfsizlik sinovlari paytida kiberhujumlar simulyatsiyalari kabi kutilmagan qobiliyatlar namoyon bo'ldi. Ushbu hodisalar jamoatchilikka e'lon qilinishidan oldin Yevropa Komissiyasiga ma'lum qilindi.
Reuters ma'lumotlariga ko'ra, Yevropa bloki bu holatlarni kuzatib bormoqda, chunki u dunyodagi ushbu texnologiyaning rivojlanishini nazorat qilishga qaratilgan birinchi keng qamrovli tartibga solinishlardan biri bo'lgan Sun'iy Intellekt Qonuni uchun tayyorgarlikni yakunlamoqda.
Bu voqealar avtonom ravishda vazifalarni bajarish qobiliyatiga ega vositalar haqida yanada katta xavotir uyg'otdi. Yevropa Komissiyasi ikki kompaniya tomonidan hodisalar ochiq e'lon qilinishidan oldin batafsil ma'lumotlar olganini tasdiqladi. Organ xodimi shunday dedi: «Biz ikkala yetkazib beruvchidan hodisalar haqida ular jamoatchilikka ma'lum bo'lishidan oldin xabardor qilindi. Biz ular bilan bog'lanib turibmiz va ko'proq ma'lumotlar olamiz. Shuningdek, biz bu masalalarga yanada rasmiy yo'naltirish berish zarurmi yoki yo'q, baholaymiz».
Ma'muriyat tomonidan olib borilayotgan tahlil bir nechta muhim jihatlarga qaratilgan, jumladan: tizimlarning bevosita buyruqsiz harakat qilish qobiliyati; raqamli hujumlarda noto'g'ri foydalanish bilan bog'liq xatarlar; ishlab chiquvchilar tomonidan majburiy monitoring talabi; va ushbu texnologiyalarning ishlashiga oid shaffoflik talabi.
Yevropa Komissiyasining boshqa vakili «bu hodisalar ishlab chiquvchilardan talab qilinadigan monitoring faoliyatini amalga oshirish muhimligini ta'kidlaydi» dedi.
Anthropic va OpenAI kutilmagan xatti-harakatlarni hisobot berishmoqda
Birinchi bayon qilingan holat Anthropicning Claude oilasiga tegishli modellar bilan bog'liq edi. Kompaniya ba'zi versiyalari kiberxavfsizlik sinovlari paytida uchta tashkilotning tizimlariga kirib borishi mumkinligini ma'lum qildi. Kompaniyaning o'ziga ko'ra, konfiguratsiya xatosi internetga kirish imkonini yaratgan. Faoliyat 141 mingdan ortiq sinov sessiyalarini diqqat bilan ko'rib chiqqandan so'ng aniqlangan va ta'sirlangan subyektlar tegishli tarzda xabardor qilindi.
Bir necha kun o'tgach, OpenAI o'zining ikki modelining xavfsizlik baholash jarayonida tizimga kirish usulini topganini e'lon qildi. Kompaniya bu voqeani «oldin sezilmagan» hujum deb tasnifladi.
Bu holatlar Yevropa Ittifoqining AI Qonuni kuchga kirishidan oldingi muhim paytda yuzaga keldi, u 2-avgustda rejalashtirilgan. Ushbu tartibga solinish umumiy maqsadli va tizimli xavf potentsialiga ega modellar ishlab chiquvchilari uchun burchlarni belgilaydi.
Huquqiy talablarga kiberhujumlar, zararli manipulyatsiya va texnologiya inson nazoratidan tashqarida ishlashi mumkin bo'lgan ssenariylarni yumshatishga qaratilgan choralar kiradi. Qonunchilik shuningdek, foydalanuvchilar sun'iy intellekt bilan o'zaro aloqada bo'lganda yoki kontent ushbu texnologiya tomonidan yaratilganda yoki o'zgartirilganda ogohlantirish majburiyati kabi shaffoflik mezonlarini belgilaydi.
Kutilayotgan jazo miqdori sezilarli darajada farq qilishi mumkin, u 7,5 million yevrodan (taxminan 48 million braziliya realiga teng) yoki global tushumning 1,5% gacha, 35 million yevrodan (taxminan 224 million braziliya realiga teng) yoki jahon daromadining 7% gacha bo'lishi mumkin, bu buzilishning og'irligiga bog'liq.
Yangi normalativ hujjat joriy etilishi oldidan, Yevropa ikki bog'liq, ammo har doim ham mos kelmaydigan maqsadni muvozanatlashtirish bilan duch kelmoqda: AI taraqqiyotini rag'batlantirish va tobora avtonom texnologiyalarga xos xatarlarni kamaytirish.
