A DeepSeek lançou o DeepInfer, um framework para execução de inferência que está na base dos seus serviços de grandes modelos. Este lançamento ocorreu em 20 de outubro.
O DeepInfer possui suporte para GPUs Nvidia, bem como processadores Huawei Ascend. O framework oferece uma série de funcionalidades, incluindo inferência distribuída, decodificação especulativa e saída estruturada.
De acordo com a DeepSeek, o objetivo deste lançamento é ajudar desenvolvedores e empresas a aumentar o throughput e reduzir a latência, ao mesmo tempo que diminuem os custos de computação e o consumo de energia.
Além disso, a empresa tornou público o componente deepseek-recipe. Ele é responsável por converter solicitações de API e processar a entrada e saída do modelo de acordo com os próprios serviços da DeepSeek. Atualmente, o DeepInfer suporta o modelo DeepSeek-V4.1-Flash-1017, e a empresa pretende continuar lançando código de inferência e otimizações para futuros modelos através deste projeto.