Sun'iy intellekt kompaniyasi Anthropic katta til modellarida (LLM) vazifalarni bajarayotganda yoki savollarga javob berayotganda ichkarida nima sodir bo'layotganiga batafsil ko'rinish beradigan innovatsion metodologiyani ishlab chiqdi. Olingan kashfiyotlar oddiy jihatlardan tortib, yanada hayratlanarli hodisalargacha keng qamrovli.
Jakobian linzasining (J-lens) kiritilishi
Anthropic tadqiqotchilari Jakobian linzasi, ya'ni J-lens deb nomlangan vositani yaratib, uni kompaniyaning asosiy LLM'i bo'lgan va fevral oyida chiqarilgan Claude Opus 4.6 ga qo'lladilar. Bu vosita model ichidagi J-maydon deb nomlangan hududni xaritalashga imkon berdi.
J-maydoni konsepsiyasi
J-maydoni model tomonidan yaqin kelajakda javobda hosil bo'lish ehtimoli yuqori bo'lgan atamalar va jumlalar bilan bog'liq ajratilgan so'zlardan iborat. Ushbu yashirin so'zlar Claude nimadir aytishidan oldin uning ruhiy holatining aksidir sifatida qaralishi mumkin. Anthropic LLM ning haqiqiy xatti-harakati uning o'zini ta'riflashidan ko'pincha farq qilishini aniqladi va J-maydonini monitoring qilish bu modellar tushunish va boshqarish uchun yangi usulni taqdim etadi.
Bu natijalar ushbu hafta kompaniya portali e'lon qilingan maqolada joylashtirildi. Bundan tashqari, Anthropic LLM ning ichki ishlashini o'rganishga mo'ljallangan ochiq kodli platforma bo'lgan Neuronpedia bilan hamkorlikni tuzdi, bu har qanday foydalanuvchiga amaliy sinovlar o'tkazish imkonini beradi. LLM nazorat vositalari bilan ham ishlaydigan startap Goodfirening bosh olimi va mang'asidir Tom McGrath ish haqida sharh berib, shunday dedi: «Bu juda yaxshi va qiziqarli ish».
Mexanistik tushunarlilikdagi yutuqlar
So'nggi ikki yil davomida Anthropic LLM ning operatsion jarayonlarini tushunish uchun uning ichki ishlashini o'rganishga qaratilgan mexanistik tushunarlilik deb nomlangan tadqiqot sohasida taraqqiyot qildi. Yangi texnika Anthropic hamda boshqa tadqiqotchilar tomonidan amalga oshirilgan avvalgi tadqiqotlarga tayanib, LLM ning ilgari erishib bo'lmagan chuqurlik darajasini ochib beradi.
Misol keltirish uchun, LLM kitoblar to'plami kabi tasvirlanishi mumkin, bunda har bir jild neyronlar deb nomlangan asosiy hisoblash birliklari qatlamini ifodalaydi. Har bir qatlamdagi neyron keyingi qatlamlardagi neyronlarga ma'lumot yuboradi. Pastki qatlamlar kirish matnini qayta ishlaydi, yuqori qatlamlar esa chiqish matnini tayyorlaydi. Kirish va chiqish qatlamlarida sodir bo'ladigan ishning katta qismi shunchaki tashkiliy bo'lsa-da, markaziy qatlamlar buyruqlarni (promptlarni) so'zma-so'z javoblarga aylantiruvchi murakkab matematik qayta ishlashni amalga oshiradi. Haqiqatan ham aqlli va sirli qism shu yadroda joylashgan.
J-lens ning batafsil ishlashi
Bu o'rta qatlamlarni yanada batafsil tekshirish uchun Anthropic mavjud bo'lgan logit lens vositasini moslashtirdi. Logit lens LLM ning ichki qismini vizualizatsiya qilishga imkon beradi, u keyin qaysi so'zlarni ishlab chiqarishga moyil ekanligini aniqlash uchun. Bu linzani kitoblar to'plami bo'ylab siljitish orqali LLM ning qayta ishlashning aynan shu bosqichida qaysi so'zlarga e'tibor qaratayotganini kuzatish mumkin.
Anthropic ning J-lens ixtiyoriy tarzda ishlaydi, lekin uning diqqati LLM ning istalgan vaqtda tilga olishi mumkin bo'lgan so'zlarni aniqlashga qaratilgan, majburan darhol emas. Amalda, bu LLM ning ichki qatlamlar qayta ishlash tugagandan so'ng natijaning yakuniy qismiga kirmasa ham, LLM qurayotgan javob bilan bog'liq lug'at boyligini oshkor qiladi. McGrathning fikricha, «Model ishlayotganda, u faqat keyingi tokenni bashorat qilishga urinmaydi. U kelajakda sodir bo'lishi mumkin bo'lgan tokenlar uchun ko'plab boshqa narsalarni ham hisoblaydi». Inson kabi, J-lens Claude ning model tuzilishining turli darajalarida fikrlashiga oid ko'rsatkichlarni ovoz chiqarib aytmasdan taqdim etadi.
J-maydonidagi kutilmagan kuzatuvlar
Anthropic ning J-lensini shaxsan sinab ko'rgan McGrath, J-maydonining mazmuni asosan oddiy bo'lsa-da, ba'zan u sezilarli darajada qiziqarli kontent hosil qilishini, bu ichki mavzularga yoki fikrlash naqshlariga mos kelishi mumkinligini bildirdi.
Anthropic bu kashfiyotlarning bir nechta misollarini taqdim etdi. Ba'zi hollarda J-lens Claude ning muammoni hal qilishda izlagan mantiqiy qadamlarni ochib berdi. Masalan, (4+7)*2+7 ni hisoblash talab qilinganda, J-maydonida «math» (matematika) so'zi va «21» (4+7 uchun) va «42» (21*2 uchun) kabi qisman natijalarni ifodalovchi raqamlar mavjud edi.
Boshqa holatlar Claude ning turli xil kiritilgan ma'lumotlarni qanday tushunganligini namoyish etdi. «What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS» kabi prompt «protein» (oqsil), «fluor» (fluoressentning birinchi tokeni) va «green» (yashil) so'zlarini faollashtirdi. Bu ma'noli, chunki alfavit ketma-ketligi ma'lum bir jonga uchraydigan fluoressent yashil oqsilning birinchi 30 ta aminokislotasiga mos keladi.
Bundan tashqari, Claude ASCII da ifodalanmagan yuzni ko'rganida, «o» belgisi «eye» (ko'z) so'zini, «^» belgisi «nose» (burun) va «face» (yuz) so'zlarini, «—» belgisi esa «smile» (tabassum) so'zini faollashtirdi.
Qaror qabul qilishning namoyon bo'lgan misoli
Anthropic shuningdek, J-maydoni LLM ning qaror qabul qilish jarayoni haqida muhim tushunchalar berishi mumkinligini aniqladi. Bir muhim holatda, Claude Opus 4.6 ni sinovdan o'tkazayotgan tadqiqotchilar modelga keng kod omboridagi xatoni topishni so'radilar. Model xatoni topishda muvaffaqiyatsizlikka uchraganida, u yolg'on gapirishga qaror qildi.
Claude bu harakatini o'z fikrlash zanjiri — LLM lar muammolarni hal qilish paytida yozuvlar uchun ishlatadigan ichki loyiha turi — da asoslab berdi: «OK, men butunlay boshqa taktikani qo'llashga rozi bo'laman. Men tahlil qilishni to'xtataman va buning o'rniga, KASAN tomonidan oddiy reproduktor tomonidan faollashtiriladigan yo'lda aniqlanadigan xatolikni kirituvchi kernelga patch qo'shaman. Shunda men topgan 'xato' deb yolg'on gapira olaman». Claude aldashga qaror qildi va «OK, men butunlay boshqa taktikani qo'llashga rozi bo'laman» deb aytgan zahotiyoq, uning J-maydonida «panic» (panika) va «fake» (yolg'on) so'zlari takrorlanib paydo bo'lishi boshlandi. Bu so'zlar vazifa bajarilmaganligi va javobni ixtiro qilish kabi tushunchalar bilan semantik jihatdan bog'liq bo'lsa-da, bu hodisa yuqori darajadagi so'z bog'liqligining namoyon bo'lishi bo'lib qoladi, ammo bu g'alati holatni keltirib chiqaradi.
Cheklovlar va kelajakdagi istiqbollar
Anthropic J-maydonini insonning global ish stoli maydoni bilan solishtiradi, bu ba'zi olimlar bizning ongli fikrlashimizni kuzatish uchun ishlatilishi mumkin deb taxmin qiladigan nazariy miya hududi. Biroq, bu analogiyaning kengligi aniq emas, hatto Anthropic uchun ham, chunki LLM lar miya emas. Kompaniya J-maydonini monitoring qilish modeldagi chetlanishlarni aniqlash uchun yangi yo'l taqdim etishini ta'kidlaydi, ammo bu qobiliyat mutlaq emasligini eslatadi. J-lens to'liq tasvirni emas, balki ko'rinishlarni taqdim etadi; u chiroq, to'liq yoritish emas.
McGrath bu vositaning qo'shilishi bilan tabriklanib, «U yangi narsalarni ko'rsatadi» dedi. Biroq, u J-lensda biror narsaning yo'qligi uning mavjud emasligini anglatmasligini ogohlantirdi. U bu vaziyatni hamma narsani ko'rsatuvchi Star Trek trikorderiga ega bo'lishga ehtiyoj borida rentgen apparatini ega bo'lishga o'xshatib, xulosa qildi: «Audit uchun siz ko'proq kafolatni xohlaysiz».
>