A Ant Group, em colaboração com a comunidade vLLM, publicou o Humming — uma biblioteca de núcleos GEMM projetada para inferência de modelos de linguagem grandes (LLMs) quantizados usando o método de compilação Just-In-Time (JIT).
Este projeto foi lançado sob a licença Apache 2.0 pela organização inclusionAI da Ant Group e é espelhado no projeto vLLM. O Humming resolve um problema comum no serviço quantizado, que é a necessidade de criar um núcleo especializado para cada combinação de largura de bits dos pesos, formato de ativação, esquema de escalonamento, estrutura de disposição densa ou Mixture-of-Experts (MoE) e geração de GPU.
A biblioteca traduz os formatos de exportação suportados em uma descrição geral de quantização e, em seguida, realiza a compilação JIT dos núcleos a partir de componentes CUDA reutilizáveis para a forma, dispositivo e opções de computação alvo especificadas.
De acordo com a descrição do projeto, uma arquitetura suporta pesos inteiros de INT1 a INT8 e pesos de ponto flutuante de FP4 a FP8, combinados com ativações FP16, BF16, FP8, FP4, INT8 ou INT4, desde que os formatos sejam compatíveis. Ela suporta tanto GEMM denso quanto MoE GEMM e é voltada para GPUs NVIDIA a partir da arquitetura Turing.
As dependências da biblioteca são limitadas ao PyTorch e NVCC, e o pacote pip tem cerca de 100 KB. Um aspecto importante é a extensão do suporte de hardware além da NVIDIA: o Humming suporta totalmente o acelerador de IA T-Head Zhenwu 810E, que é compatível com CUDA, permitindo o uso dos mesmos núcleos e caminhos de configuração neste dispositivo. A T-Head é uma subsidiária da Alibaba, e o Zhenwu 810E foi usado anteriormente em implementações de IA chinesas.
Os resultados de desempenho apresentados no anúncio conjunto são baseados em microbenchmarks internos e testes de serviço da equipe. Em tamanhos de lote pequenos, o denso W4A16 mostrou um ganho de aproximadamente 3 a 4 vezes em comparação com o cuBLAS em vários dispositivos. No B300, a relação W4A8 em relação ao DeepGEMM base é avaliada em cerca de 1,6 vezes em alguns casos com tamanhos de lote pequenos e médios.
Durante testes ponta a ponta do DeepSeek-V4.1-Flash em oito GPUs H20, a transição de MoE Marlin W4A16 para Humming W4A8 aumentou a taxa de transferência de saída em aproximadamente 14% a 43% e reduziu o tempo médio até o primeiro token em 25% a 32%, com o maior ganho observado em maior paralelismo. Esses resultados ainda não foram verificados independentemente.
A partir da versão vLLM 0.29.0, as instalações do vLLM com CUDA incluem o Humming como dependência. Os operadores podem ativá-lo usando os flags --linear-backend humming e --moe-backend humming. Vale ressaltar que o Humming é um projeto conjunto da Ant Group e da comunidade vLLM, e não um produto exclusivo da Ant Group.