StepFun kompaniyasi razretlangan Mixture-of-Experts (MoE) arxitekturasi asosidagi va taxminan 600 milliard umumiy parametrga ega boʻlgan Step 5 modelining dastlabki versiyasini taqdim etdi, bunda har bir token uchun taxminan 27 milliard faollashtiriladi. Ushbu chiqarish agentlar uchun uzoq muddatli yuklar, shu jumladan AI yordamida kod ishlab chiqish, dasturiy muhandislik, moliyaviy tahlil va professional bilimlar bilan ishlashga qaratilgan. Model bir million token kontekst oynasini qoʻllab-quvvatlaydi va matn ham, grafik kiritmalarni qabul qiladi. StepFun API orqali kirishning allaqachon ochilganini maʼlum qildi va model vaznlari 15-oktabrda jamoatchilikka ochiq qilish rejalashtirilgan.
Tarmoqni kengaytirish oʻrniga, Step 5 Preview 92 qatlamdan iborat tor, chuqur Transformer arxitekturasidan foydalanadi. Kompaniya chuqurroq steklar maʼlumot uzatish uchun uzoqroq yoʻllarni taʼminlashini va agentlar vositalardan foydalanishda qidirish, kod ishga tushirish va natijalarni qayta ishlash paytida noaniq koʻp bosqichli fikrlashni taʼminlashini taʼkidlaydi. Bir million tokenli sessiyalarning amaliyotga mos kelishini taʼminlash uchun model bloklar boʻyicha tokenlarni birlashtiradigan Sparse Grouped-Query Attention (Razretilgan Guruhli-Soʻrov Diqqati) ni oʻz ichiga oladi. StepFunning aytishicha, bu ixloskor indekslovchi va top-k tanlash xarajatlarini yanada zich asosiy modelga nisbatan sakkizdan biriga kamaytiradi, shu bilan birga qoplamali qoʻshni tanlovlarni birlashtiradi.
Oʻqitish jarayonida siyosat boʻyicha uzoq muddatli kuchaytirish bilan oʻrganish (on-policy long-horizon reinforcement learning) va MoE marshrutlashida bit darajasida oʻrganish va inferensni uygʻunlashtirishga urgʻu beriladi. Bundan tashqari, yukni hisobga olgan jadval tuzish (load-aware scheduling), MTP-3 spekulyativ dekodlash, FP8 MoE va KV-keshni yuklash kabi usullar qoʻllaniladi. StepFun uzoq muddatli RL ning butun jarayonini uch marta tezlashtirish va namunalar roʻyxatidagi yoʻqotish koʻrsatkichi bir foizdan past ekanligini hisobot beradi. Ushbu model shuningdek, ilmiy tadqiqotlar, dasturiy taʼminot ishlab chiqish va mashinaviy taʼlim sohasidagi tadqiqotlarni qamrab oluvchi millionlab tekshiriladigan murakkab vazifalarni yaratadigan inson tomonidan boshqariladigan maʼlumotlar quvveti ichida ishlatiladi.
Sunʼiy intellektni tahlil qilish boʻyicha, Step 5 Preview ushbu reyting tizimida ochiq vaznli eng yaxshi modellar qatoriga kiradigan intellekt indeksi boʻyicha taxminan 44 ball oladi. Eʼlon qilingan narxlarga koʻra, API xarajatlari bir million kirish tokeni uchun taxminan 1 dollar va bir million chiqish tokeni uchun 2,7 dollar ni tashkil etadi, chiqish tezligi esa sekundiga taxminan 100 tokenni tashkil etadi. Modelning asosiy eʼtibori arxitektura va agent samaradorligiga qaratilgan, bu uni avvalgi Step 3.5 Flash va Step 3.7 Flash nashrlaridan ajratib turadi, chuqurlik, razretilgan uzoq kontekst va vazifalarni ishonchli koʻp bosqichli foydalanishga urgʻu beradi, bu vaznlar oktyabr oyida mavjud boʻlishidan oldin.



