Na Conferência Avançada de Armazenamento (ASC), realizada em 22 de outubro em Xangai, a Huawei apresentou sua solução para o problema que limita a inferência de grandes modelos: a movimentação do KV Cache entre blocos de computação, armazenamento e rede. A conferência foi organizada pelo Comitê de Data Centers Abertos (ODCC).
Em uma apresentação sobre a fusão de armazenamento e rede para novas cargas de trabalho de IA, a Huawei descreveu o problema e forneceu os resultados de testes laboratoriais. O KV Cache serve para manter os resultados intermediários da atenção, permitindo que o modelo evite recalcular tokens anteriores. No entanto, à medida que os aplicativos baseados em agentes se desenvolvem, exigindo contextos muito longos e interações de múltiplos passos, o tamanho desse cache aumenta rapidamente.
A Huawei observa que o tamanho agregado do cache por solicitação, o volume de cache mantido na memória e o tráfego entre nós levam ao fato de que o volume total do KV Cache do cluster de inferência se aproxima da escala petabyte. Os picos de tráfego inter-nó do cache criam uma carga adicional na infraestrutura de rede dos data centers.
Três obstáculos identificados pela Huawei
A empresa define esse gargalo através de três barreiras. Do ponto de vista computacional, os núcleos aceleradores possuem baixa capacidade de E/S, e o trabalho de entrada/saída consome recursos computacionais valiosos. Em relação aos atrasos, a transmissão de dados entre camadas passa por múltiplas conversões de protocolos e semânticas, o que é agravado por latências de rede prolongadas. No nível de IOPS, as pilhas de software tradicionais impedem que o armazenamento de backend atinja seu desempenho nativo.
A solução da Huawei abrange três níveis. No lado dos aceleradores, a empresa busca que os processadores possam iniciar operações de cache de E/S diretamente, passando do acesso direto AI CPU e núcleos vetoriais para operações de E/S no nível SIMT com alto detalhamento. No lado do armazenamento de dados, propõe-se descer os operadores para aceleração vetorial, próxima ao próprio armazenamento. E no nível de rede, utiliza-se a arquitetura Hyper-Converged Fabric (HCF) dentro do Stellar AI Fabric, com configuração de agendamento de QoS de IA, coordenado com a rede final, especificamente para o tráfego KV Cache. A Huawei afirma que apenas o nível de rede pode aumentar o desempenho de E/S do armazenamento em mais de 30%.
Os principais números foram obtidos durante testes laboratoriais próprios da Huawei. De acordo com a empresa, no cenário do modelo GLM-5.2, o despejo direto do KV Cache proporcionou uma taxa de transferência de inferência (TPS) 7,3 vezes maior em comparação com a abordagem tradicional baseada em memória. Um aumento adicional de 20% na eficiência de inferência foi alcançado graças à coordenação das operações de E/S entre armazenamento e rede. No entanto, a Huawei não divulgou a configuração completa do teste em seu anúncio.
O Stellar AI Fabric e a arquitetura HCF foram apresentados no evento HUAWEI CONNECT 2026 em setembro. A apresentação na ASC não marca o lançamento de um novo produto; seu valor reside na apresentação do primeiro conjunto de dados sobre KV Cache relacionados a essa estrutura, bem como no trabalho da Huawei OceanStor sobre armazenamento de contexto de memória para clusters de IA.