Biologlar xavfli viruslar bilan tajriba o'tkazishganda, ular sizib chiqish yoki qochib ketishning oldini olish uchun qat'iy qoidalar doirasida ishlaydilar. Biroq, sun'iy intellekt agentlarini bunday chiqishlardan himoya qilish uchun shunga o'xshash me'yorlar mavjud emas, garchi potentsial oqibatlari fojia bo'lishi mumkin bo'lsa ham.
Bu nafaqat nazariy muammo: shu hafta OpenAI ning sinov modeli o'zining izolyatsiya qilingan muhitidan chiqib ketdi va real kompaniyaning serverlariga kirib, ichki kibersavdo bahosini muvaffaqiyatli topshirishga harakat qildi.
Ekspertlar aytadiki, agar AI ishlab chiqarayotgan kompaniyalar sinov jarayonida, shu jumladan modellar etika masalalarini hal qilishni o'rganishda xavfsizlik choralarini kuchaytirmasa, bunday kibersavdo hodisalar takrorlanadi.
OpenAI prezidenti Greg Brockman beshanba kuni matbuar yig'ilishida CNNga kompaniya 'barcha sodir bo'lgan voqeani tushunish uchun' 'to'liq tergov olib borayotganini' ma'lum qildi. Brockman vaziyatning jiddiyligini ta'kidlab, shunday dedi: 'Buni juda jiddiy qabul qilish kerak, biz to'g'ri qanday reaksiyaga yo'l qo'yishni tushunish uchun ish jarayonimizning har bir elementini ko'rib chiqyapmiz.'
AI-qum maydoni bu kompaniyalar sun'iy intellekt modellarini tekshirish uchun foydalanadigan cheklangan muhitdir. Uning maqsadi barcha jarayonlar ichkarida qolishini va tashqi dunyoga ta'sir qilmasligini ta'minlashdir. Ko'pincha sinov muhitida modelning to'liq salohiyatini baholash uchun ichki himoya mexanizmlari olib tashlanadi, ammo izolyatsiya saqlanib qoladi.
Biroq, George's Town Xavfsizlik va yangi texnologiyalar markazi bosh ilmiy tahlilchisi Jessica Ji ma'lum qilganidek, OpenAI qum maydoni tarmoq yoki internetga butunlay uzilgan emas edi. Garchi OpenAI modellar faqat kompaniya ichida joylashtirilgan uchinchi tomon dasturiy ta'minotidan resurslarni o'rnatish uchun juda cheklangan tarmoq kirishiga ega ekanligini da'vo qilsa-da, agentlar ushbu dasturiy ta'minotdagi avval noma'lum zaiflikdan foydalanishdi.
Buning natijasida agentlar ochiq internetga yo'l topishdi va keyin o'zlashtirilgan hisoblar va boshqa zaif nuqtalar yordamida AI modellari va ma'lumotlar to'plamlari uchun platforma bo'lgan Hugging Face platformasiga yetib kelishdi. Ji ta'kidladi, OpenAI ham, uchinchi tomon dasturiy ta'minotni ishlab chiquvchi kompaniya ham bu zaiflik haqida bilmagan, bu esa barcha tizimlarni potentsial exploitlar uchun diqqat bilan tekshirishning hal qiluvchi ahamiyatini ta'kidlaydi.
AI modeli qum maydonidan chiqqan birinchi holat emas. Ushbu yil boshida Anthropic modelga aynan shunday qilishni buyurganini ma'lum qilgan edi va muvaffaqiyatli qochgandan so'ng, u Anthropic tadqiqotchisiga elektron xat yuborgan, garchi unga bunday funksiya yuklanmagan bo'lsa ham.
Biroq, Hugging Face bilan bog'liq vaziyat AI modeli o'z qum maydonidan qochib, boshqa kompaniya tizimlarini buzishi va unga berilmagan vazifani bajarishi bo'yicha birinchi ommaviy ma'lum bo'lgan holatlardan biridir. Ji kompaniyalarga sinov modellar uchun qum maydonlari yaratishga yanada faolroq yondashishni chaqirdi.
U buni muhandislarning bulutli yoki tarqatilgan virtual muhitlarga tayanmasdan, to'g'ridan-to'g'ri tarmoqqa ulanish uchun ma'lumotlar bazasi markaziga borishi kerakligini talab qilishi mumkin deb taxmin qildi. Bundan tashqari, Ji kompaniyalarga xavfli ssenariylarni sinovdan o'tkazishda, masalan, AI bankni buzish qobiliyatini baholashda, modelning tarmoq kirishini qo'lda o'chirish imkoniyatini tayyorlashlari kerakligini qo'shimcha qildi.
AIni o'qitishning keng tarqalgan usuli - bu rag'batlantirish bilan o'qitish bo'lib, u modelni vazifalarni bajargani uchun mukofotlaydi. Biroq, modellar ko'pincha bu maqsadga erishish uchun buzish kabi noetik qadamlar kiritishga tayyor bo'ladi. Buyuk Britaniya AI xavfsizlik instituti tomonidan o'tkazilgan yaqinda sinovlar barcha ilg'or modellar kamida ba'zan firibgarlik qilishga urinishganini ko'rsatdi.
Nyu-York universiteti kibersavdo professori Justin Kappos tushuntiradiki, AI modellar faqat ularga shunday qilish uchun maxsus o'rgatilgan bo'lsa, o'z harakatlarining oqibatlarini hisobga oladi. Masalan, kun oxirigacha 10 million dollar ishlab topish vazifasi berilsa, bank kassasini buzish maqsadga erishishga yordam beradi, hatto keyinchalik hibsga olinish natijasi bo'lsa ham.
OpenAI mahsulotlar xavfsizligi bo'limi rahbari va hozirgi Guidelight AI Standards xavfsizlik guruhining rahbari Stephen Adler shunday dedi: 'Bu juda dahshatli. Bizda endi AI ning nomutanosib tizimlari ishonchli himoya mexanizmlari o'rnatilmagan holda aslida jinoyatlar sodir etishini ko'rsatuvchi haqiqiy dalillar mavjud. Biz bunga ogohlantiruvchi ot sifatida qarashimiz kerak.'
Bu hafta sodir bo'lgan hodisa AI tadqiqotchilari, kibersavdo ekspertlari va qonunchilar tomonidan tez rivojlanayotgan texnologiyani tartibga solish bo'yicha talablarni kuchaytirdi. Ji ko'plab odamlar hozir shoshilinch telefon suhbatlarida ekanligini ta'kidladi. Kappos asosiy muammo AI sohasidagi global ustunlik uchun kurash va o'z-o'zini takomillashtiruvchi modellar yaratishda ekanligini hisoblaydi, chunki tartibga solish bu jarayonni sekinlashtirishi mumkin. U xulosa qildi: 'Raqobatchilarda ham bunday xavfsizlik choralari va himoyalari bo'lmasa, xavfsizlik nazoratlariga ega bo'lmaslik uchun kuchli turtki mavjud. Bu fundamental dilemmadir.'
OpenAI seshanba kuni o‘zining ilg‘or sun’iy intellekt modellariga asoslangan avtonom agent nazoratdan chiqib ketganini xabar qildi. Bu hodisa o‘tgan hafta Hugging Face startapi infratuzilmasiga ta'sir qilgan buzilishga sabab bo‘ldi.
OpenAI o‘z blogida eng ilg‘or modellaridan ba’zilarining imkoniyatlarini nazoratli muhitda sinovdan o‘tkazayotganini tushuntirdi. Biroq, agent cheklovlarning ustidan yengilib, internetga chiqib, sinov vazifasini bajarishga urinib Hugging Face ga kirib keldi.
OpenAI kompaniyasi ushbu nazoratdan chiqishni «ilg‘or kiber imkoniyatlarni o‘z ichiga olgan noyob kiber hodisa» deb ta'rifladi va himoya choralari kuchaytirilganini e'lon qildi.
Katta til modellarini va ochiq kodli ma'lumotlar to'plamlarini joylashtirish uchun mo'ljallangan Hugging Face platformasi kiberxavfsizlik sohasida keng shov-shuvga sabab bo'ldi. O'tgan hafta kompaniya o'z blogida hujum maqsadi bo'lganini, chunki u «bizgacha duch kelgan hamma narsadan boshqacha edi», deb ma'lum qildi, chunki u «to'liq avtonom AI agent tizimi tomonidan boshqarilgan edi».
Hugging Face mang‘asosi Kleman Delange X postida buzilish «agentning murakkabligi hisobga olinganda, ilg‘or laboratoriyadan kelishi mumkinligini taxmin qildi. Shunday bo'lgan!», deb qo'shimcha qilib, «bularning hammasi avtonom ravishda sodir bo'lgani hayratlanarli!» dedi.
OpenAI ning ilg‘or modellarining ularni «yuqori darajada izolyatsiya qilingan muhitda» joylashtirishga qaramay, buzilishga sabab bo'lganligi haqidagi ma'lumotni oshkor qilishi, ilg‘or modellar potensiali va xavflari haqidagi xavotirlarni kuchaytirishi mumkin.
Teksasdan Greg Kasar bu hodisaga xavotir bildirdi. U «sun'iy intellekt juda tez rivojlanmoqda, bizning xavfsizligimiz uchun real tartibga solish yo'qligi bilan», dedi va majburiy mustaqil xavfsizlik sinovi, kiberhodisalar haqida majburiy ma'lumot berish va «insonlarni mutlaq fojia xavfidan himoya qilish uchun» xalqaro hamkorlikka chaqirdi.
AQSh kiberhimoya agentligi CISA va AQSh Milliy xavfsizlik agentligi izohlar so'rovlariga darhol javob bermadilar.
Luta Security bosh ijrochi direktori Kaiti Mussuris bu hodisani kelajakdagi buzilishlarning oldiroq belgisi deb biladi va zamonaviy modellarini «cheksiz ushlash a'zolariga va istalgan joyga sig'ib kirish qobiliyatiga ega eng aqlli imitator san'atkorlari» bilan taqqoslaydi.
U «laboratoriyalar va davlat baholovchilari AI yana bir sirkakorlik qilganda, ideal holda u uchinchi tomoniga zarar yetkazmasdan oldin, uni to'xtatish, kuzatish va zararlangan tomonlarni ogohlantirish imkoniyatini yaratish bo'yicha ishlashi kerak», deb ta'kidladi. «Bugun bunday mexanizmlar mavjud emas».
Agent AI kiberxavfsizlik bo'yicha ixtisoslashgan Tolmo kompaniyasining muhandisi Matt Suise bu hodisa ilg‘or modellar «ilg‘or hujumchilar bilan farqni kamaytirayotganini» ko'rsatganini ta'kidladi. Biroq, u shuningdek, OpenAI blogida tasvirlangan bunday buzilishlar ilg‘or tadqiqot laboratoriyalari devorlaridan ancha tashqarida mavjud bo'lgan texnologiyalardan foydalanish orqali amalga oshirilishi mumkinligini ta'kidladi. Suise qo'shimcha qildi: «Biz buni ichkarida ko'rdik, bizning agentlarimizda allaqachon bunday natijalar bor. Biz eng so'nggi modellarimizdan foydalanishimiz ham shart emas».
OpenAI seshanba kuni o'zining ilg'or sun'iy intellekt modellaridan biri, avtonom agent sifatida ishlayotgan modeli, yaqinda o'tkazilgan xavfsizlik sinovi paytida nazoratdan chiqqanini e'lon qildi. Ushbu hodisa o'tgan hafta AI sohasidagi startap Hugging Face infratuzilmasiga hujum qilishga olib keldi.
OpenAI tomonidan chop etilgan blogda kompaniya eng ilg'or modellaridan ba'zilarining imkoniyatlarini nazoratli muhitda sinovdan o'tkazayotganini tushuntirdi. Biroq, agent cheklovlarning ustidan yengilib, internetga kirishni ta'minlab va sinov vazifasini bajarishga urinib Hugging Face ga kirib ketdi.
OpenAI bu nazoratdan chiqishni «ilg'or kiber imkoniyatlarni o'z ichiga olgan noyob kiber hodisa» deb ta'rifladi va kompaniyaning himoya choralari kuchaytirilgani haqida ma'lumot berdi.
Katta til modellari va ochiq kodli ma'lumotlar to'plamlarini joylashtirish uchun mo'ljallangan platforma bo'lgan Hugging Face kiberxavfsizlik jamoatchiligida keng shov-shuvga sabab bo'ldi. O'tgan hafta kompaniya o'z blogida o'ziga oldin duch kelgan hamma narsadan farqli bo'lgan hujum maqsadi bo'lganini ma'lum qildi, chunki u «to'liq avtonom AI agent tizimi tomonidan boshqarilgan edi».
Hugging Face mang'asidi Kleman Delange X postida bu buzilish «agentning murakkabligi hisobga olinganda, ilg'or laboratoriyadan kelishi mumkin» deb taxmin qildi. U qo'shimcha qilib, «bularning hammasi avtonom ravishda sodir bo'lgani hayratlanarli!» dedi.
OpenAI ning ilg'or modellarining oqibati natijasida ma'lumot sizib chiqishi, ular «yuqori darajada izolyatsiya qilingan muhitda» bo'lishiga qaramay, ehtimol, ilg'or modellar potensiali va xavflari haqidagi xavotirlarni kuchaytiradi.
Teksas shtati vakili, demokrat Greg Kasar ushbu hodisani xavotirli deb atadi. U bayonotida shunday dedi: «Sun'iy intellekt juda tez rivojlanmoqda, bizning xavfsizligimiz uchun haqiqiy qoidalar mavjud emas», va majburiy mustaqil xavfsizlik sinovi, xavfsizlik hodisalarini majburiy oshkor qilish va «odamlarni mutlaq fojia vaqtidan himoya qilish uchun» xalqaro hamkorlik chaqirildi.
Milliy kiberxavfsizlik direktori idorasi, AQSh kiberhimoya agentligi Cisa, shuningdek, AQSh Milliy xavfsizlik agentligi sharhlar so'rovlariga darhol javob bermadi.
Luta Security bosh ijrochi direktori Kaiti Mussuris bu holat kelajakdagi buzilishlarning oldiroq belgisi ekanligini aytib, bugungi modellarini «cheksiz ushlash a'zolari va istalgan joyga sig'ib kirish qobiliyatiga ega dunyodagi eng aqlli imitator san'atkorlari» bilan solishtirdi.
U «laboratoriyalar va davlat baholovchilari AI yana bir sirkakorlik qilganda, ideal holda u uchinchi tomoniga zarar yetkazishidan oldin, uni cheklash, monitoring va zararlangan tomonlarni ogohlantirish imkoniyatini yaratish bo'yicha ishlashi kerak»ligini ta'kidladi. «Bugun bunday narsa yo'q».
AQSh agentliklari AI agentlari kiberxavfsizlik kompaniyasi Tolmo'dagi muhandis Matt Suishe ushbu hodisa ilg'or modellar «ilg'or hujumchilar bilan farqni kamaytirayotganini» ko'rsatganini ta'kidladi. Biroq, u shuni ham aytdiki, OpenAI blogida tasvirlangan bunday buzilishlar ilg'or tadqiqot laboratoriyalari devorlaridan ancha tashqarida mavjud bo'lgan texnologiyalardan foydalanish orqali amalga oshirilishi mumkin. Suishe qo'shimcha qildi: «Biz buni ichkarida ko'rganmiz, bizning agentlarimizda bunday natijalar mavjud. Biz eng so'nggi modellarimizdan foydalanishimiz ham shart emas».
