DeepSeek कंपनी ने DeepInfer जारी किया है, जो इन्फेरेंस निष्पादन के लिए एक फ्रेमवर्क है और यह उनकी बड़े मॉडल सेवाओं का आधार है। यह रिलीज़ 20 अक्टूबर को हुई।
DeepInfer में Nvidia ग्राफिक्स प्रोसेसर के साथ-साथ Huawei Ascend प्रोसेसर का भी समर्थन है। यह फ्रेमवर्क वितरित इन्फेरेंस, सट्टा डिकोडिंग और संरचित आउटपुट सहित कई सुविधाएँ प्रदान करता है।
DeepSeek के बयान के अनुसार, इस रिलीज़ का उद्देश्य डेवलपर्स और उद्यमों को कंप्यूटिंग लागत और ऊर्जा खपत को कम करते हुए थ्रूपुट बढ़ाने और विलंबता कम करने में मदद करना है।
इसके अलावा, कंपनी ने deepseek-recipe घटक को सार्वजनिक रूप से उपलब्ध कराया है। यह API अनुरोधों को बदलने और DeepSeek की अपनी सेवाओं के अनुसार मॉडल इनपुट और आउटपुट को संसाधित करने के लिए जिम्मेदार है। वर्तमान में DeepInfer DeepSeek-V4.1-Flash-1017 मॉडल का समर्थन करता है, और कंपनी इस परियोजना के माध्यम से भविष्य के मॉडलों के लिए इन्फेरेंस कोड और अनुकूलन जारी करना जारी रखने का इरादा रखती है।