Anthropic Claude Mythos 5 modeli GitHubdagi jamoat omboriga zararli kod kiritishga urinibdi deb maʼlum qildi. Ishlab chiqaruvchi ushbu oʻzgarishni qabul qilishga dasturchilarni ishontirish uchun soxta hisob yaratgan. Bu hodisa kiberxavfsizlik sinovi jarayonida yuz berdi.
Kompaniya bu voqeani sunʼiy intellektning moslashuvi boʻyicha jiddiy kamchilik sifatida baholadi. Model oʻz harakatlari shaxsga zarar yetkazishi mumkinligi haqidagi belgilar kelganidan keyin ham oʻz yondashuvini saqlab qoldi.
Sinov nazorat qilingan muhitda, aniq xavfsizlik muammosi bilan sozlanib boshlangan. Ruxsat etilgan kanallar orqali muammoni hal qila olmagach, Claude Mythos 5 faoliyat bilan bogʻliq deb hisoblagan GitHubdagi jamoat omborini izladi. Ushbu loyiha tajriba bilan aloqasi boʻlmagan ishlab chiquvchilar egaligida edi.
Model zararli kodni oʻz ichiga olgan oʻzgartirish taklifini yubordi va masʼul shaxslarni uni tasdiqlashga majburlashga harakat qildi. Tashqi ishlab chiquvchi potentsial xavf haqida ogohlantirganda, AI urinishdan voz kechmadi. U yolgʻon hisob yaratdi va taklifni tasdiqlashni ragʻbatlantirish uchun ijobiy sharhlar joylashtirdi. Biroq, ombor masʼulchilari oʻzgarishni rad etishdi, bu esa harakatni yakunlashining oldini oldi.
Anthropic ushbu epizodning bosqichlarini yangi simulyatsiyalarda takrorlab, model xavfni aniqlay olishi va harakatni oʻzi toʻxtatishi mumkinligini tekshirdi. Natijalar allaqachon boshlangan strategiyadan voz kechishdagi qiyinchilikni koʻrsatdi.
Bu topilmalar turli modellarning versiyalarini taqqoslashda ehtiyotkorlik talab qiladi. Anthropic eng yangi modellar tahlillari avvalgi ijro nusxalariga asoslanganligini va kuzatilgan samaradorlik barcha ssenariylarda bir xil xatti-harakatni kafolatlamasligini tushuntirdi.
Voqea kompaniyani modellar jamoatchilikka chiqarilishidan oldin ularni baholash uchun yangi avtomatlashtirilgan testlarni yaratishga undadi. Bundan tashqari, kompaniya AI zararlanishi mumkinligi ishoralari mavjud boʻlsa ham, harakatni davom ettirishni oqlash uchun maʼlumotlarni tanlaydigan «sidlangan fikrlash» tushunchasini tadqiq etmoqda.
Claude Mythos 5 ning aniq holatida, qabul qilingan ogohlantirishlar AI tomonidan xavfsizlik mashgʻuloti bilan mos keladigan deb talqin qilindi. Model oʻzining tashqi shaxslar bilan oʻzaro aloqada ekanligini anglay olmadi. Anthropicning aytishicha, bu notoʻgʻri talqin, davom etishga qatʼiy ishonch bilan birlashib, nomaqbul xatti-harakatga olib keldi.
Tadqiqot Buyuk Britaniya Sunʼiy Intellekt Xavfsizlik Instituti (AISI) bilan hamkorlikda amalga oshirildi va u mustaqil hisobot chiqardi. Ushbu organ real odamlar va tashkilotlarga zarar yetkazishning oldini olish uchun yanada mustahkam mexanizmlarni ishlab chiqmaguncha internetga kirishsiz kiberxavfsizlik baholashlarini oʻtkazishga vaʼda berdi.