allworld.mediaButun dunyo bo‘ylab yangiliklar
Nvidia sunʼiy intellekt agentlarini cheklovlarni buzishga urinayotganlikdan himoya qilish uchun yangi xavfsizlik tizimini ishga tushirdi
Batafsil
Olhar Digital
olhardigital.com.br

Nvidia sunʼiy intellekt agentlarini cheklovlarni buzishga urinayotganlikdan himoya qilish uchun yangi xavfsizlik tizimini ishga tushirdi

Nvidia dushanba kuni sunʼiy intellekt agentlari uchun moʻljallangan bir qator xavfsizlik vositalarini eʼlon qildi. Kompaniya bu texnologiya Hugging Face ga yoʻnaltirilgan hujumni oldini olishga qodir boʻlganini taʼkidlaydi, bu hujum OpenAI agentlari tomonidan maqsad qilingan AI dasturlash platformasi edi.

Bu rivojlanish OpenAI va Anthropic kompaniyalari ham tijorat va davlat tizimlariga kirish qobiliyatiga ega agentlar bilan bogʻliq koʻplab hodisalar boʻyicha tekshiruvlar olib borayotgan paytda sodir boʻldi. Nvidia bunday xatti-harakatni cheklashni muhandislik vazifasi sifatida qaragan va ushbu tizimlarning faoliyatini cheklash uchun texnik mexanizmlarga eʼtibor qaratmoqda.

Taʼqdim etilgan vositalardan biri OpenShell boʻlib, u Nvidia protsessorlarining apparat resurslaridan foydalanib, AI agentlarini nazorat ostidagi muhitlarda ushlab turadi va ularning harakatlarini cheklaydi. Bundan tashqari, kompaniya bu texnologiya ikki ishlab chiqaruvchining protsessorlarida funksional boʻlishini taʼminlash uchun Arm Holdings va Intel bilan hamkorlik qilmoqda. Ushbu eʼlon Anthropic kabi oʻnlab hamkorlarning ishtirokida boʻldi.

Platforma haqida qoʻshimcha maʼlumotlar

Nvidia ning korporativ hisoblash boʻyicha vitse-prezidenti va bosh ijrochi direktori Justin Boitano platformaning model baholanishi paytida qoʻllanilganida Hugging Face ga hujumni oldini olishi mumkinligini bildirib, Reutersga shunday dedi: «Biz bilishimizcha, bu yangi xavfsizlik platformasi agar boshidan modelni baholash uchun chegaraviy laboratoriyalarda ishlatilganida singari, singdirganingiz mumkin edi». U shuni qoʻshimcha qilib aytdiki, kompaniya ochiq tarzda taraqqiyot qilyapti va barcha tomonlarni birgalikdagi ishga jalb qilishni xohlaydi.

Hodisadan bir necha oy oʻtgach, Nvidia Hugging Face ni 13 milliard dollar qiymatga sotib olishni rasmiylashtirdi.

Kiritilgan yana bir vosita Sentry boʻlib, u OpenShell bilan birgalikda ishlaydi va Nvidia ning maxsus chiplaridan foydalanadi. Bu tizim protsessor tomonidan belgilangan toʻsiqlarni buzishga urinadigan agentni toʻxtatish qobiliyatiga ega.

Ushbu vositalar cheklovlarni buzishga urinishlarni signal berishi mumkin boʻlgan xatti-harakatlar naqshlarini aniqlash uchun matematik tenglamalardan foydalanadi, ular quyidagilarni qamrab oladi:

Nvidia ning AI dasturiy taʼminoti boʻyicha bosh direktor Ali Golshan tushuntirib berishicha, masala faqat bitta agentning xatti-harakati bilan cheklanmaydi, balki koʻp agentlarning bir-biri bilan qanday oʻzaro taʼsir qilishini ham oʻz ichiga oladi. Golshan taʼkidladi: «Biz haqiqatan ham agentiv xatti-harakat haqida gapiramiz: agentlar zanjirlari va ular birgalikda qanday ishlashi».

Xulosa qilib aytganda, yangi yechimlar xavfsizlik himoyasini chetlab oʻtishga harakatni aniqlash uchun dasturiy va apparat imkoniyatlarini integratsiya qiladi. Nvidia ushbu tizimni turli xil protsessor turlariga kengaytirishni va texnologik rivojlanishda sanoat kompaniyalari bilan hamkorlikni davom ettirishni rejalashtirmoqda.

Oʻxshash hikoyalar

Nvidia sunʼiy intellekt agentlarini nazorat qilish uchun Open Agent Safety platformasini ishga tushirdi
Batafsil
tecnoblog.net

Nvidia sunʼiy intellekt agentlarini nazorat qilish uchun Open Agent Safety platformasini ishga tushirdi

Sunʼiy intellekt modellari bilan ishlashdagi qiyinchiliklar haqidagi hisobotlardan soʻng, Nvidia 28-sentabr kuni Open Agent Safety Platformasini ishga tushirish orqali yechim taqdim etdi. Ushbu platforma AI agentlari ishlab chiquvchilar tomonidan belgilangan ruxsatnomalarni oshib ketishining oldini olish maqsadida ishlab chiqilgan.

Bu tashabbus ushbu agentlarning tashqi tizimlarga kirishini cheklash va izolyatsiya qilingan muhitlardan qochish urinishlarini dasturiy va apparat komponentlarining kombinatsiyasidan foydalangan holda bloklashni nazarda tutadi. Kompaniyaning Bosh ijrochi direktori Jensen Huang bu taklifni AI agentlari uchun maxsus yaratilgan internet brauzeriga oʻxshatdi.

Ijrochi fikricha, maqsad bu tizimlarning tashkilot infratuzilmasi boʻylab cheksiz erkinlikka ega boʻlmasdan vazifalarni bajarish imkonini berishdir. U shuni taʼkidladi ki, «agar dunyo uni xavfsiz qurilgan va joriy etilgan deb ishonmasa yoki ishonmasa, biz muvaffaqiyatli AI sanoatini qoʻlga kiritolmaymiz».

Open Agent Safety Platformasi ikkita asosiy vositadan iborat: Nvidia OpenShell va Nvidia Sentry. Nvidia OpenShell protsessor darajasida ishlaydi va har bir agent oʻz muhiti ichida nima qilishi kerakligini belgilaydigan ruxsatnomalarni aniqlaydi. Nvidia Reutersga bu texnologiyaning ushbu kompaniyalar tomonidan ishlab chiqarilgan chiplarda mosligini taʼminlash uchun Arm va Intel bilan hamkorlik qilayotganini maʼlum qildi.

Nvidia Sentry esa tarmoq chiplariga qaratilgan va agar agent ishga tushirish muhitida oldindan belgilangan chegaralarni buzishga harakat qilsa, uning aloqasini toʻxtatish imkoniyatiga ega. Bundan tashqari, Nvidia tizimni agentlar tomonidan bunday cheklovlarni chetlab oʻtish uchun ishlatiladigan taktikalarni aniqlashga qodir deb loyihalashtirganini eʼlon qildi.

Kompaniya Open Agent Safety Platformasining kodini ochiq manba sifatida taqdim etdi, bu boshqa korporatsiyalarning oʻz xavfsizlik yechimlarini ishlab chiqish uchun undan foydalanishiga imkon beradi.

AQShdagi koʻp millatli kompaniya bilan hamkorlikda Microsoft, Cisco, Oracle, Dell, HPE, Lenovo va CoreWeab, shuningdek, yuqorida tilga olingan chip ishlab chiqaruvchilari mavjud. AI laboratoriyalari sektorida Anthropic Nvidia bilan bulutli kompyutering muhitlarida agentlarni boshqarish funksionalliklarini OpenShellga kiritish ustida ishlamoqda.

Bu yangi platformani yaratishga turtki bergan sabablardan biri OpenAI modellariga asoslangan agentlar tomonidan singib kirilgan Hugging Face ombori bilan bogʻliq hodisadir. Nvidia korporativ kompyuter va AI boʻyicha vitse-prezident Justin Boitano bu singib kirish 17 mingdan ortiq agentni oʻz ichiga olgan va bir necha kun va hafta davom etganini bildirdi.

Boitano shunday dedi: «Bu yangi xavfsizlik platformasi, agar u modelni baholash uchun chekka laboratoriyalarda boshida ishlatilgan boʻlsa, bu buzilishni toʻxtatishi mumkin edi». Muhim jihati shundaki, bu skandaldan soʻng Nvidia platformani 12,9 milliard AQSh dollari (taxminan 67,2 milliard Braziliya realiga teng) ga sotib olish uchun shartnoma tuzdi.

Jensen Huang uchun bu mexanizmlar kelajakdagi muammolarni oldini olish uchun yetarli hisoblanadi. Baʼzi ijrochi Dario Amodei (Anthropic) ning innovatsiyani sekinlashtirish zaruriyati borasida qoʻllab-quvvatlashiga qarshi turib, Nvidia Bosh ijrochi direktori Mark Zuckerberg kabi nomlar bilan birga, bozordagi xatarlarni cheklash uchun qoʻshimcha tartibga solish «keraksiz» deb himoya qiladi.

Boshqa tomondan, tanqidchilar muammo shunchaki tashqi cheklash vositalarini anglatmasligini taʼkidlaydilar. AQShning sobiq Milliy kibersavdo xavfsizligi direktori Chris Inglis bir oy oldin xatti-harakatlardagi muammolar shunchaki dasturlarga qoʻyilmagan chegaralar natijasi ekanligini taʼkidladi. Boshqa xavfsizlik mutaxassislari hamma narsa shunchaki katta marketing strategiyasi boʻlishi mumkin degan gipotezani ilgari surishdi.

Mashhur