China Telecom Ascend ustida MoE arxitekturasi bilan oʻqitilgan Xing4.0-29B-A4B modelini ochdi
Batafsil
Pandaily
pandaily.com

China Telecom Ascend ustida MoE arxitekturasi bilan oʻqitilgan Xing4.0-29B-A4B modelini ochdi

China Telecom Artificial Intelligence Technology Co., Ltd. kompaniyasi Xing seriyasining (avval TeleChat deb nomlangan) eng soʻnggi ishlab chiqilishi boʻlgan Xing4.0-29B-A4B modelini mavjud qildi. Ushbu modelning vaznlari va konfiguratsiya fayllari XingChen-AGI tashkiloti ostida Hugging Face va ModelScope platformalarida joylashgan. Rasman model China Telecom / XingChen / Xing4.0 sifatida taqdim etiladi.

Model oddiy katta til modelining umumiy chiqarilishi sifatida emas, balki Ascend platformasi uchun optimallashtirilgan Mixture-of-Experts (MoE) agentik amalga oshirilishi sifatida taqdim etilgan. Kompaniyaning materiallariga koʻra, bu MindSpore freymvorkidan foydalanib, Ascend NPU akseleratorlari ustida toʻliq oʻqitilgan va murakkab muhandislik vazifalari hamda agent yuklari uchun maxsus sozlangan birinchi miqyosdagi modeldir.

Hugging Face maʼlumotlariga koʻra, modelning umumiy parametrlar soni 29 milliardga yetadi, bunda har bir token uchun taxminan 4 milliard parametr faollashtiriladi. U 256K nativ kontekst uzunligini qoʻllab-quvvatlaydi, uni 512K gacha kengaytirish mumkin, 40 qatlamga ega, MLA diqqatini ishlatadi va 64 yoʻnaltirilgan ekspertni oʻz ichiga oladi, ulardan har bir token uchun toʻrtta ekspert va bitta umumiy ekspert faollashadi. Arxitektura izohlarida koʻp bosqichli rejalashtirish, vositalarni chaqirish va uzoq kontekstda bogʻliqlikni saqlash uchun moʻljallangan mHC + MLA + MTP stekidan soʻz bor.

MindSpore/MindFormers orqali Ascend 910C klasterlarida birgalikda oʻqitish, jumladan mHC operatorlarini birlashtirish va MoE aloqasini sozlash, vendor tomonidan taqdim etilgan maʼlumotlarga koʻra, oʻquv tranzmissiya tezligini asosiy sozlamalarga nisbatan taxminan 96% ga oshirdi.

Foydalanish uchun Transformers, vLLM, SGLang va KTransformers kabi turli xil xizmat koʻrsatish yoʻllari mavjud. Shuningdek, LLaMA-Factory va MindFormers yordamida nozik sozlash va OpenCode, Claude Code, OpenClaw va Hermes kabi agent tizimlari uchun formatlash qoʻllab-quvvatlanadi. Bundan tashqari, Phoenix Tech ikkilamchi IT mavzularining qoplanishining SuperCLUE agentlari natijalarini yetakchi Qwen modellari bilan solishtiradigan darajada ekanligini taʼkidlaydi va 4 bitga kvantlash uzoq kontekstli mahalliy ishga tushirish uchun xotira sarfini 15 GB gacha kamaytirishi mumkinligini daʼvo qiladi, ammo bu bayonotlar hali mustaqil tekshiruvdan oldingi tashqi yoki kompaniya tomonidan berilgan bayonotlardir.

Huawei Ascend steklarida ishlaydigan jamoalar uchun MindSporeda oʻqitilganligi aniq va Apache ekotizimida inferens uchun ochiq interfeyslar bilan Xing4.0-29B-A4B yuklab olish vaznlari taqdim etiladi. Shu tariqa, bu China Telecomning OSS formatidagi agentik MoE hisoblanadi, faqat APIga asoslangan yopiq eʼlon emas.

Mashhur