Moore Threads kompaniyasi Megatron-MUSA-Titan loyihasini ommaga oshirdi va oʻzining katta modellarini oʻqitish uchun ishlab chiqqan infratuzilmani taqdim etdi. Ushbu loyiha Moore Threads ning 10 000 dan ortiq GPUdan iborat klasterlarida trilyon parametrli 'ekspertlar aralashmasi' (mixture-of-experts) kabi modellar bilan ishlash uchun moʻljallangan boʻlib, u oldindan oʻqitish va kuchaytirish orqali oʻqitishni qamrab oladi.
Loyihaning kodi GitHubda mavjud. Kompaniya bu tizimning 10 000 GPUli klasterlarda trilyon parametrli MoE ni oldindan oʻqitish uchun uzluksiz foydalanilganini taʼkidlaydi, bunda uzoq oʻquv sessiyalari modelning yuqori FLOPs foydalanishi va jarayon barqarorligini taʼminlagan.
Repositoriyda 1 trilyon parametrli Kimi-K2 uslubidagi MoE modeli uchun konfiguratsiya namunasi keltirilgan. Dizaynning asosiy tamoyili mavjud yechimlarga yaqinlikni saqlab qolish edi. Megatron-MUSA-Titan NVIDIA ning Megatron-LM freymvorki asosida qurilgan. torch_musa orqali PyTorch integratsiyasi va MUSA C ning CUDA C bilan mos kelishi tufayli, MUSA muhiti mavjud dasturchilar Megatron-LM, slime va miles ning rasmiy repositoriyalarini klonlab, kodni oʻzgartirish shartmasdan Moore Threads GPUlarida oʻqitishni boshlashlari mumkin.
Loyiha umumiy algoritmlar va xatolarni tuzatishlarni yuqori darajadagi loyihalarga yoʻnaltirish kerakligini koʻrsatadi, shu bois Moore Threads ikkita turdagi oʻzgarishlarga eʼtibor qaratadi: Moore Threads uskunalari va klasterlari uchun moslashtirilgan keng miqyosli optimallashtirishlar hamda MUSA ning maxsus muammolari uchun yechimlar.
Oldindan oʻqitish funksiyalari Moore Threads ning MT-TransformerEngineiga tayanadigan FP8 formatidagi blokli oʻqitishni oʻz ichiga oladi. MoE tokenlarini yoʻnaltirish va birlashtirish kompaniyaning Async Copy Enginei ustida ishlaydigan DeepEP yordamida tezlashtiriladi, bu esa ekspertlar kommunikatsiyasini hisoblashlar bilan parallel ravishda amalga oshirish imkonini beradi. Boshqa variantlar orasida virtual konveyer parallelizmi yordamida aktivatsiyalarni yuklash va bitta oldinga va bitta orqaga oʻtishni rejalashtirish, shuningdek, Mooncake RDMA orqali hisob-kitoblar bilan birgalikda konveyer parallel kommunikatsiyasi mavjud.
Tarqatilgan izlash tahlil asbobi har bir GPU dan PyTorch izlashlarini oʻqib, konveyer pufakchalari va past samaradorlikdagi tugunlar kabi sekin joylarni aniqlaydi. Loyiha 10 000 GPUda 1 trilyon parametrli MoE ishga tushirishni atigi bir necha soat ichida tahlil qilish qobiliyatiga ega ekanligini taʼkidlaydi.
Kuchaytirish orqali oʻqitish uchun stack slime va miles freymvorklarini qoʻllab-quvvatlaydi; Megatron oʻqitish bilan shugʻullanadi, MUSA-SGLang yigʻindisi esa oʻtishlarni yaratadi, bu esa bitta asosiy tizimga oldindan oʻqitish va RL ikkalasini ham xizmat koʻrsatish imkonini beradi. Mustaqil inferens uchun optimallashtirish ushbu loyiha doirasiga kirmaydi.
Milliy akseleratorlarni koʻrib chiqayotgan ishlab chiquvchilar uchun amaliy savol shundaki, mavjud oʻquv kodining qaysi qismi ishlayveradi. Moore Threads ning javobi shuki, Megatron ekotizimi kodi oʻzgarish talab qilmaydi.
