A equipe Xiaohongshu Engine apresentou o sistema HELMSMAN na conferência OSDI 2026. Este sistema é uma solução de alto desempenho e custo-efetiva para busca de vizinho mais próximo aproximada (vector approximate nearest neighbor search), desenvolvida especificamente para arrays NVMe SSD totalmente baseados em memória flash.
O HELMSMAN substituiu a infraestrutura anterior da Xiaohongshu, que consistia em aproximadamente 35.000 núcleos de CPU e 350 TB de memória RAM (DRAM), totalizando cerca de 40 servidores totalmente baseados em memória flash. Isso permitiu uma redução nos custos de hardware superior a 90%, mantendo a latência em nível de milissegundos para serviços da empresa, como busca, recomendações e publicidade. Esses serviços processam centenas de bilhões de vetores de alta dimensão com milhões de requisições por segundo.
A ideia principal é que os métodos ANNS clusterizados são uma arquitetura mais adequada para os modernos arrays SSD de alta velocidade, em contraste com os métodos ANNS baseados em grafos. Sistemas de grafos que utilizam DRAM e SSD, como o DiskANN, sofrem de dependência de E/S sequencial, pois a leitura de um SSD determina o próximo vizinho a ser visitado, o que impede a saturação da largura de banda do SSD. Os sistemas clusterizados, por outro lado, leem clusters de candidatos em paralelo, o que corresponde às capacidades de E/S paralela dos SSDs.
Os sistemas tradicionais de clusterização SPANN enfrentavam três problemas em ambientes de produção: baixa largura de banda devido aos custos de sobrecarga da pilha de E/S Linux, estratégias de busca não adaptativas que escaneavam muito ou muito pouco dependendo da complexidade da consulta, e construção lenta de índice em um único processador, que não conseguia escalar para centenas de bilhões de vetores. O HELMSMAN elimina esses obstáculos graças a três inovações:
Primeiro, há uma pilha de armazenamento especializada para ANNS que contorna os caminhos padrão de E/S do Linux, gerenciando as filas NVMe diretamente no espaço do usuário. Isso reduziu os custos de sobrecarga de software que anteriormente consumiam até 58% da latência total. Segundo, foi implementado um mecanismo hierárquico de aprendizado para poda de busca, que prevê adaptativamente o número ideal de clusters para varredura com base na complexidade da consulta, tamanho top-k e distribuição dos centroides. Terceiro, foi introduzido um pipeline de construção distribuída acelerado por GPU, que permite reconstruir índices em escala de bilhões de vetores em apenas algumas horas, o que corresponde à atualização de modelos em minutos para sistemas de recomendação e publicidade.
Testes de produção demonstraram a eficácia do sistema. O HELMSMAN proporciona uma melhoria de throughput de 2 a 16 vezes em comparação com sistemas existentes DRAM-SSD, incluindo DiskANN e SPANN, atingindo até 85% da capacidade de implantação puramente in-memory, mantendo SLAs de latência média e de cauda dentro de milissegundos. A capacidade de reconstruir índices em escala de 10 bilhões de vetores em horas torna o HELMSMAN prático para ambientes de trabalho onde modelos de incorporação e dados vetoriais são atualizados frequentemente. A implantação da Xiaohongshu abrange diversas áreas de negócios, incluindo busca, recomendações, publicidade, segurança de conteúdo e pipelines RAG.
As implicações para custo e escalabilidade vão além da Xiaohongshu. A infraestrutura de busca vetorial é um dos centros de custo de crescimento mais rápido para plataformas de internet, pois a recuperação baseada em embeddings está se tornando universal para busca, recomendações e recursos baseados em IA. A dependência de DRAM foi um fator estrutural de aumento de custos, já que a escala de vetores dobra anualmente. O HELMSMAN prova que o ANNS de alto desempenho em armazenamento flash padrão é viável em produção, mesmo para cenários de serviço online mais sensíveis à latência, potencialmente mudando a economia da infraestrutura para todo o setor. O estudo também levanta questões sobre se outros componentes de IA limitados pela memória podem obter benefícios semelhantes do design conjunto da pilha de armazenamento em vez de apenas expandir a DRAM.
A XPower Technology apresentou os chips de arquitetura RPP AE7100E no evento WAIC. Esses microchips do tamanho de uma unha são capazes de suportar modelos com parâmetros de 400 bilhões a 1,6 trilhão graças ao uso de computação distribuída, garantindo ao mesmo tempo um custo de token mínimo.
A XPower Technology estabeleceu-se como um ator significativo no mercado interno de computação de IA no WAIC 2026. A empresa demonstrou sua matriz de aceleradores de inteligência artificial baseada em sua própria arquitetura de processador paralelo reconfigurável RPP. Esta arquitetura abrange cenários de computação em nuvem, de borda e final. A ideia principal da empresa desafia diretamente a doutrina amplamente aceita da indústria sobre a necessidade de usar chips gigantescos.
Os chips AE7100E, que têm cerca do tamanho de uma unha, podem ser integrados em 12 unidades por placa aceleradora. Essa configuração permite executar grandes modelos de linguagem com 400 bilhões a 1,6 trilhão de parâmetros por meio de computação distribuída, atingindo a eficiência de custo de tokens ideal para a indústria. O CEO da XPower, Li Yuan, observou que a transição de computação orientada a treinamento para computação orientada à inferência é uma tendência chave. Ele enfatizou que a programação de IA se tornou um caso de uso crítico para inferência, pois a experiência da empresa mostrou que a IA agora pode realizar o desenvolvimento de compiladores de CPU, algo que antes exigia uma equipe profissional por anos, e essa capacidade pode ser escalada para aplicação rápida em diversas tarefas.
Como 55% das solicitações aos modelos em centros de dados globais pertencem ao mercado de modelos de código aberto, o mercado de inferência não está disponível apenas para alguns gigantes, mas para qualquer empresa, criando uma enorme demanda por infraestrutura de inferência economicamente eficiente. A observação chave é a ineficiência dos grandes chips na inferência: a decodificação requer uma relação computação-dados de 1:1, enquanto as GPUs fornecem uma relação de 1000:1, o que leva à perda de largura de banda. A arquitetura RPP da XPower utiliza chips pequenos e distribuídos, proporcionando especialização fina dentro de um único servidor. Além disso, a abordagem da XPower substitui a cara tecnologia HBM pela mais madura LPDDR, afirmando que três elementos são fundamentalmente necessários para a inferência de IA: grande capacidade, largura de banda suficiente e baixo custo. A tecnologia LPDDR atende a todos esses requisitos com um custo significativamente menor em comparação com a HBM. A configuração de 12 chips por placa permite uma divisão detalhada de memória e processamento paralelo de dados entre os chips dentro de um único fator de forma de servidor. Essa arquitetura de servidor distribuído distingue a XPower da abordagem NVIDIA Groq, que também usa construções multi-chip distribuídas, mas em uma escala de cluster muito maior. A flexibilidade integrada da arquitetura RPP, equilibrando computações gerais e específicas do domínio, permite usar um chip para cenários de implantação em nuvem, na borda e em dispositivos finais.
Durante o WAIC, a empresa demonstrou sua linha de produtos, desde o chip AE7100E até racks de servidor de alta densidade com 8 placas. A transição da empresa de computação de borda para computação em nuvem é uma aposta estratégica de que o mercado de inferência, que a XPower avalia como dez vezes maior que o mercado de treinamento em custo total endereçável, será conquistado não pelo poder computacional mais grande de um único chip, mas pelos sistemas distribuídos mais economicamente eficientes. Embora a confirmação dessa hipótese dependa dos resultados da implementação real, a arquitetura RPP representa uma das abordagens domésticas mais originais para computação, desafiando o consenso sobre grandes chips, afirmando que o futuro da inferência de IA pertence não a processadores monolíticos únicos, mas a aglomerados de chips pequenos coordenados.
