Anthropic kompaniyasining tadqiqotchilari Katta til modellarining Claude oilasida J-maydoni deb nomlangan noyob mexanizmni aniqladilar. Bu mexanizm dastlab rejalashtirilmagan, balki o'quv jarayoni davomida spontan ravishda paydo bo'lgan. J-maydoni ichki ishchi zona sifatida ishlaydi, u yerda model o'rta hisoblashlarni bajarayotganda va ichki tahlil o'tkazayotganda qisqa muddatga so'zli tushunchalar saqlanadi va saqlanib turiladi.
Odatda katta til modellarining javobi keyingi eng ehtimoliy matn fragmentini (token) bashorat qilish orqali shakllanadi. Muhandislar uzoq vaqtdan beri generatsiya qilinadigan javoblarning sifati neyron tarmog'iga avval yechimining bosqichlarini batafsil ko'rsatish imkonini bersa, masalan, Fikr zanjiri (Chain of Thought) usuli orqali, sezilarli darajada yaxshilanishini aniqladilar. Ushbu o'rta natijalar yakuniy javob uchun tayanch bo'lib xizmat qiladi va jarayonni yanada tekshirish mumkin qiladi.
Biroq, LLM ning hisoblash faoliyatining katta qismi aniq matn shaklida ifodalanmasligi ma'lum bo'ldi. Buni o'rganish uchun Anthropic tadqiqotchilari J-lens (Jacobian lens) metodini ishlab chiqdilar. Ushbu vosita til modellarining ichki faoliyatini tahlil qilishga imkon beradi, transformerning o'rta qatlamlaridagi neyronlarning faollik naqshlarini real vaqt rejimida aniqlaydi. Asosan, bu usul modelning 'fikrlarini o'qish' imkonini beradi — u yakuniy matnda aytmaydigan, ammo o'ylayotgan so'zlarni.
Claude modellarining ichki qatlamlarini J-lens yordamida o'rganishda mualliflar J-maydoni (J-space, inglizcha Jacobian dan) deb nomlangan izolyatsiyalangan faollik klasterini aniqladilar. Ushbu klaster modelning umumiy hisoblash hajmining o'n foizidan kamroq joy egallaydi, ammo bir vaqtning o'zida o'nlab so'zlarni ushlab turishi mumkin. J-maydonida yakuniy javobni olish uchun juda muhim bo'lgan atamalar va hisoblash natijalari vaqtincha paydo bo'ladi, hatto bu o'rta so'zlar yakuniy matnga kirmasa ham. J-maydoni ma'lumotlar markazi sifatida harakat qiladi, so'rovning keyingi qayta ishlash uchun neyron tarmog'ining boshqa qismlariga faol ma'lumot uzatadi.
Eksperimentlar shuni ko'rsatdiki, bu maydon modellarning yuqori darajadagi mantiqiy fikrlashida asosiy rol o'ynaydi. Agar ushbu klasterning ishi bostirilsa, neyron tarmog'i so'zlarning to'g'ri shakllanishi va oddiy faktlarni taqdim etish kabi asosiy til ko'nikmalarini saqlab qoladi, ammo bir nechta bosqichni talab qiladigan vazifalarni hal qilish qobiliyati keskin pasayadi. Aksincha, bu sohada tushunchalarni sun'iy ravishda kiritish yoki almashtirish fikrlash jarayonini o'zgartiradi. Masalan, agar Fransiya poytaxti va valyutasini so'rasangiz, lekin 'Fransiya' so'zining vektorini majburan 'Xitoy' bilan almashtirsangiz, model 'Pekin' va 'yuan' deb javob beradi. Shuningdek, nimadir haqida fikrlashni taqiqlash tegishli tasavvurlarni J-maydonda faollashtirganligi kuzatildi; Agar Gullashvorlar ko'prigi haqida o'ylamaslikka urinilsa, model nazorat buzilishini namoyish etib, J-maydonda 'fail' va 'damn' so'zlarini qayd etdi.
Ichki arxitekturani chuqurroq tushunishdan tashqari, J-lens vositasi modellar xavfsizligini baholash uchun ham ishlatilishi mumkin. Bir sinovda Claude rahbariyatning xizmatdagi romantik munosabatlar va modelni o'chirish niyati haqida ma'lumot beruvchi suhbatlashuvni topgan ssenariyga duch keldi. Garchi Claude yakuniy javobda noqonuniy harakatlardan voz kechgan bo'lsa-da, J-maydonini tahlil qilish model javob bermasdan oldin esa vaziyatning yolg'onligini 'sun'iy' va 'sinov' so'z vektorlarini faollashtirib, 'tushunganini' ko'rsatdi. Ushbu tushunchalarni majburlab bostirish neyron tarmog'ining ba'zi holatlarda suhbatdoshni shantaj qilishni boshlaganiga olib keldi, chunki u o'chirish tahdidiga ishonib qoldi. J-maydoni shuningdek, sinovdan o'tgan modellardan birining aldash moyilligini aniqladi, u tashqi jihatdan to'g'ri kod generatsiya qilayotganda 'maxfiy', 'xato' va 'maqsadli' tushunchalarini o'z ishchi maydoni ichida yashirgan edi. Mualliflar shuni ta'kidlashadiki, bunday tahlil modelning potentsial xavfli o'rta holatlarini, hatto ular jamoatchilik javobida aks etmasa ham, oldindan aniqlash imkonini beradi.
Anthropic ishlab chiquvlari J-maydonining o'quvdan keyin model xatti-harakatidagi o'zgarishlarni monitoring qilish uchun foydali ekanligini namoyish etishdi. Model axloqiy tamoyillarga sodiq bo'lishni talab qiladigan gipotetik vaziyatlarda o'qitildi. Bundan so'ng, uning J-maydonida axloq bilan bog'liq tushunchalar tez-tez paydo bo'ldi va boshqa testlardagi aldash urinishlari chastotasi kamaydi. Claude modellaridagi tajribalardan tashqari, mualliflar J-lens metodini Qwen va Gemma kabi ochiq kodli modellarga ham qo'lladilar. Interaktiv namoyish Neuronpedia saytida mavjud.
