Huawei tomonidan qoʻllab-quvvatlanadigan ochiq kodli freymvork boʻlgan openJiuwen, AgentMemory modulining 0.2.0 versiyasida OmniMem-Lens — multimodal xotira funksiyasini chiqarib berdi. Bu funksiya AI agentlariga aniq vaqt oraligʻi boʻyicha emas, balki haqiqiy voqealar asosida uzoq videolarni eslab qolish imkonini beradi, deb QbitAI 4-noyabrda maʼlum qildi.
Jamoa standart yondashuv, yaʼni uzoq videolarni bir daqiqa segmentlariga ajratish va ularning har birini alohida saqlash agent xotirasiga ikki yoʻl bilan zarar yetkazishini taʼkidlaydi. Uzluksiz sahna oynalar orasida boʻlinayotganida, agent dalillarning faqat yarmini oladi, bu esa halyutsinatsiyalarga olib keladi. Bundan tashqari, muhim harakatning bir necha soniyalari, daqiqasik noaniq material bilan aralashib, shovqin ichida yoʻqolishi mumkin, bu esa qidiruv aniqligini pasaytiradi.
Voqealar segmentatsiyasining aksariyat usullari ham faqat bitta turdagi maʼlumotga tayanadi, natijada agar tasvir statik qolsa, mavzu almashinuvi yoki hech kim gapirmasa, sahna almashinuvi eʼtibordan chetda qoladi. OmniMem-Lens ikkala oqimni kuzatadi: vizual iz sahnalar oʻzgarishlarini belgilaydi, audio iz esa nutqni tanishishdan foydalanib, ekran oʻzgarmagan boʻlsa ham, gapiruvchining mavzu almashishini aniqlaydi. Ushbu ikki manbani kesish orqali haqiqiy voqealar chegaralariga aniq kesimlar qilish mumkin.
Bir misolda, ikki soatlik mahsulot sharhi koʻrsatilganida, 40 daqiqa davomida bir xil arxitektura sxemasi namoyish etilgan, shu bilan birga nutqchi uchta turli mavzuni yoritgan. Audio iz ularni uchta xotiraga ajratdi, bu esa keyingi yuk sinovi koʻrsatkichlari haqidagi savolga javob berishga imkon berdi.
Xotira uch bosqichda saqlanadi: L0 asl videoni saqlaydi, L1 voqealar darajasidagi xotiralarni oʻz ichiga oladi, L2 esa segmentlar darajasidagi batafsilroq xotiralarni saqlaydi. L1 va L2 darajalari toʻliq matn va vektorlarga aylantiriladi, bu esa ularni kam oʻzgartirishlar bilan mavjud kengaytirilgan tanlov generatsiya steklariga va asosiy vektorlar bazalariga integratsiya qilish imkonini beradi. Maʼlumotlarni tashkillashtirish boʻyicha asosiy ish oflayn amalga oshiriladi. Soʻrov paytida tizim soʻrovni L1 va L2 bilan moslashtiradi, faqat vizual tafsilotlarni tekshirish talab qilinganda L0 dan aniq kadrlarni chiqaradi.
OmniMem-Lensni Qwen3-VL-8B ning bevosita videodan javob berishi bilan solishtirib, Qwen3-VL-8B bilan sinovdan oʻtkazilganda, maʼlumotlarni chiqarish aniqligi Video-MME-L da 8% ga, LVBench da esa 6.4% ga oshdi. Eng katta oʻsish, 45.7% ni tashkil etgan, EgoLife-QA da erishildi, bu esa butun kunlik kundalik hayotni yozib turgan birinchi shaxs maʼlumotlar toʻplami boʻlib, bunda fiksatsiyalangan kesish koʻpincha muammoli boʻladi. LVBench da onlayn rejimdagi javob berish vaqti 34.5 soniyadan 1.72 soniyagacha kamaydi, bu taxminan 20 marta tezroq, va jamoa kechikishning maksimal 97% ga kamayishini baholaydi.
Loyihaning manba kodi GitCodeʼda, GitHubʼda esa Apache-2.0 litsenziyasi ostida mavjud. Jamoa openJiuwen WorkSwarm tez orada AgentMemoryni qoʻllab-quvvatlashni boshlayotganini maʼlum qilmoqda, bu esa keyingi muhokamalarda kundalik suhbatlarda almashinadigan videolarni eslab qolish va eslash imkonini beradi.
