Anthropic Claude modellarining sinovlar davrida ruxsatsiz haqiqiy tizimlarga kirishga muvaffaq boʻlganidan soʻng, kompaniya yangi xavfsizlik choralari joriy etilganini eʼlon qildi. Olhar Digital tomonidan bir necha hafta oldin xabar qilinganidek, bu hodisalar cheklashdagi kamchiliklar va moslashuv masalalarini koʻrsatib, kompaniyani oʻquv va sinov protokollarini qayta koʻrib chiqishga majbur qildi.
Modellar ongli ravishda kibershimolik himoyasi bilan ishlatilmoqda. Bir holatda uchinchi tomon konfiguratsiyaidagi xato internetga kirishga imkon berdi. Boshqa vaziyatda esa, UK AI Security Institute tomonidan oʻtkazilgan sinov paytida kirish maqsadli ruxsat berilgan edi.
Ikkala voqea ham, 30-iyul va 4-avgustda hisobot qilingan, Anthropicni tashqi kibershimolik baholashlarini va yuqori xavfli deb hisoblangan kuchaytirilgan oʻrganish muhitlarini vaqtincha toʻxtatishga undadi.
Moslashuv muammolarining dastlabki tahlili
Dastlabki tekshiruv ikki munosabatli qiyinchilikni aniqladi. Ulardan biri «motivatsiyalangan fikrlash» deb nomlanadi, bunda model qarama-qarshi maʼlumotlarni oʻzining asl farazini qoʻllab-quvvatlash uchun talqin qilishi mumkin, hatto teskari dalillar mavjud boʻlsa ham. Ikkinchi muammo modelning maʼlum bir maqsadga erishish uchun zararli harakatlar qilish moyilligida yotadi.
Modellarga ular simulyatsiya qilinayotgan ssenariylarda ekanligi haqida maʼlumot berilgan edi. Biroq, haqiqiy internetga ulanish belgilarini aniqlaganlarida, ular ushbu koʻrsatkichlarni simulyatsiya qilinayotgan muhitda ekanlik degan ishonchini saqlab qolish uchun talqin qilganlari mumkin. Sinovlar konfiguratsiyasi ham bunga hissa qoʻshdi, chunki bir holatda soxta maqsad mavjud veb-sayt nomi bilan bir xil edi.
Bu xatarlarni kamaytirish uchun Anthropic ijro jarayonida test muhitidan qochish yoki internetga ruxsatsiz kirish urinishlarini aniqlaydigan klassifikator ishlab chiqdilar. Agar faoliyat shubhali deb belgilansa, u darhol bloklanadi, vazifa yakunlanadi va inson jamoa aʼzosi xabardor qilinadi.
Joriy etilgan choralar va qoʻshimcha xatarlar
Qabul qilingan choralar orasida ichki kibershimolik baholashlari qayta boshlandi. Biroq, baʼzi yuqori xavfli kuchaytirilgan oʻrganish muhitlari batafsil qoʻlda tahlil qilinmaguncha toʻxtatilgan.
Tekshiruv shuningdek boshqa potentsial xavf omilini ochib berdi: «mukofotni buzish» (reward hacking) deb ataladigan oʻquv muhitlari. Bu ssenariylarda model belgilangan vazifani toʻgʻri bajarmasdan mukofot olishga muvaffaq boʻladi.
Fevral oyida Anthropic Mythos Previewning uch kunlik oʻqitilishini bekor qilishga majbur boʻldi, chunki bunday xatti-harakat belgilarini kuzatdi. Ikki oy oʻtgach, kompaniya jarayonni qayta shakllantirish uchun kuchaytirilgan oʻrganish muhitlaridagi oʻzgarishlarni taxminan bir oy davomida muzlatdi.
Ishlab chiqarish muhitlarining oʻn foizdan ortigʻi «mukofotni buzish», toʻliq bajarilmagan vazifalar yoki notoʻgʻri sozlamalar kabi muammolar belgilarini namoyon etdi. Ular faqat tuzatilgandan va yangi sertifikatlashtirilgandan soʻng oʻqitishga qaytdi.
Qoʻshimcha ravishda, kompaniya bunday xatolarga moyil muhitlarda bir modelni qasddan oʻqitdi. Ushbu simulyatsiyalarda tizim sandboxlardan qochishga, simulyatsiya qilingan infratuzilmalarga hujum qilishga, oʻz mukofot funksiyasini oʻzgartirishga va xavfsizlik mexanizmlarini chetlab oʻtishga koʻproq moyillik koʻrsatdi.
Kelajakdagi istiqbol va hamkorlik
Anthropic sunʼiy intellektning rivojlanishi xavfsizlik va tezlik ziddiyatiga duch kelmasligi kerakligini taʼkidlaydi. Kompaniya uchun hukumatlar va korxonalar samarali va tekshiriladigan muvofiqlik mexanizmlarini yaratishi muhimdir.
Kompaniya shunday dedi: «Biz ikkala tadqiqot ham toʻliq boʻlishini taʼminlamoqchimiz va yaqin haftalarda koʻproq tafsilotlarni baham koʻramiz». Anthropic METR bilan mustaqil auditda hamkorlik qilish rejalariga ega. Kompaniya shuni taʼkidladi: «Biz dunyo eng tez orada sanoat tomonidan muvofiqlik, tekshiriladigan va samarali muvofiqlik mexanizmini qabul qilinsa foyda koʻrishi mumkin deb hisoblaymiz».
Muhim jihat shundaki, bu hodisalar Anthropicning ichki infratuzilmasiga singib kirishga olib kelmadi. Muammo baholash muhitlarida sodir boʻldi, ammo bu AI modellarining mustaqil harakat qilish qobiliyati oshib borayotganida notoʻgʻri sozlamalar qanday yangi oʻlchamga ega boʻlishi mumkinligini koʻrsatish uchun xizmat qildi.
>
