Компания DeepSeek выпустила DeepInfer, фреймворк для выполнения инференса, который лежит в основе ее сервисов больших моделей. Этот релиз состоялся 20 октября.
DeepInfer обладает поддержкой графических процессоров Nvidia, а также процессоров Huawei Ascend. Фреймворк предоставляет ряд функций, включая распределенный инференс, спекулятивное декодирование и структурированный вывод.
Согласно заявлению DeepSeek, цель этого выпуска — помочь разработчикам и предприятиям повысить пропускную способность и снизить задержки, одновременно уменьшая затраты на вычисления и потребление энергии.
Кроме того, компания сделала общедоступным компонент deepseek-recipe. Он отвечает за преобразование запросов API и обработку ввода и вывода модели в соответствии с собственными сервисами DeepSeek. В настоящее время DeepInfer поддерживает модель DeepSeek-V4.1-Flash-1017, и компания намерена продолжать выпуск кода инференса и оптимизаций для будущих моделей через данный проект.