DeepSeek kompaniyasi uning katta modellar xizmatlarining asosini tashkil etuvchi inferensiya uchun freymvork boʻlgan DeepInferni chiqardi. Ushbu chiqarish 20 oktyabrda amalga oshirildi.
DeepInfer Nvidia grafik protsessorlari, shuningdek, Huawei Ascend protsessorlarini qoʻllab-quvvatlaydi. Freymvork tarqatilgan inferensiya, spekulyativ dekodlash va tuzilgan chiqish kabi bir qator funksiyalarni taqdim etadi.
DeepSeek bayonotiga koʻra, ushbu chiqarishning maqsadi ishlab chiquvchilar va korxonalarga hisoblash va energiya sarfini kamaytirish bilan birga tranzit quvvatni oshirish va kechikishlarni pasaytirishga yordam berishdir.
Bundan tashqari, kompaniya deepseek-recipe komponentini ommaviy foydalanish uchun mavjud qildi. U API soʻrovlarini oʻzgartirish va DeepSeekning oʻz xizmatlariga muvofiq modelning kirish va chiqishini qayta ishlash uchun javobgar. Hozirda DeepInfer DeepSeek-V4.1-Flash-1017 modelini qoʻllab-quvvatlaydi va kompaniya bu loyiha orqali kelajakdagi modellar uchun inferensiya kodi va optimallashtirishlarni chiqarishni nazarda tutmoqda.