A MindLab lançou o Macaron-V1, um modelo que foi ajustado usando o método Mixture-of-LoRA. Este desenvolvimento é baseado no fundamento do Zhipu AI GLM 5.2 e demonstra como o ajuste fino direcionado baseado em Aprendizado por Reforço (RL) pode aumentar significativamente as capacidades de um modelo existente com custos computacionais mínimos.
A versão principal Venti, com 748 bilhões de parâmetros e suporte a contexto nativo de um milhão, utiliza quatro adaptadores de especialista LoRA independentes com parâmetros de 1 bilhão. Esses especialistas cobrem as áreas de chat, agentes, codificação e interface do usuário. Cada especialista foi treinado em um espaço de adaptadores isolado usando a técnica patenteada Mixture-of-LoRA, o que previne a interferência mútua de habilidades frequentemente observada no ajuste fino multitarefa.
O método MoL representa um desvio significativo do ajuste fino tradicional. O ajuste fino multitarefa padrão sofre do efeito chicote, onde a melhoria de uma função leva à deterioração de outra. A solução da MindLab coloca múltiplos especialistas LoRA independentes sobre um modelo base congelado, sendo cada um otimizado em seu próprio espaço de adaptadores isolado. Uma ferramenta roteadora seleciona o especialista apropriado para cada solicitação, e novas funcionalidades podem ser adicionadas simplesmente conectando outro especialista LoRA sem a necessidade de retreinar os existentes.
As inovações técnicas no Macaron-V1 vão além do MoL. O modelo inclui a tecnologia LongStraw, que expande o contexto nativo do GLM 5.2 para dois milhões de tokens através da reutilização de segmentos comuns de prompt como estado persistente, reduzindo significativamente a sobrecarga de sequências longas. Além disso, existe uma versão leve Tall com 35 bilhões de parâmetros, projetada para implantação local baseada no Qwen 3.6.
Para suportar o sistema, três componentes foram treinados conjuntamente: GenUI, responsável por exibir visualizações interativas além da saída de texto; REPL Harness, que fornece um ambiente de execução Python persistente, permitindo que os modelos criem e promovam ferramentas para utilitários globais entre sessões; e a infraestrutura de treinamento MinT, desenvolvida especificamente para MoL, onde o Agente e o Agente de Treinamento trocam apenas adaptadores, e não pesos completos, o que suporta catálogos de adaptadores em nível de milhões em escala trilhonária.
A MindLab também criou dois conjuntos de dados de avaliação próprios. O Macaron ChatBench avalia a honestidade do agente em cenários de contexto longo, verificando se o modelo reconhece lacunas em vez de fabricar respostas. O Macaron LivingBench simula uma caixa de areia dinâmica com três mecanismos interativos: ruído dinâmico, ambiente vivo dinâmico e usuário dinâmico, medindo a capacidade do modelo de entender continuamente as necessidades do usuário, verificar a precisão das informações, replanejar caminhos de tarefas e concluir tarefas antes que a paciência do usuário acabe.
Em testes padrão, o Macaron-V1 atinge uma velocidade de geração de 320 tokens por segundo, significativamente mais rápida do que modelos comparáveis, embora isso possa refletir baixa carga de inferência durante os testes iniciais. O Macaron-V1 prova que a inteligência artificial chinesa é definida não apenas pela escala de treinamento do modelo base, mas também pela eficiência do ajuste fino subsequente. A conquista da MindLab usando 64 GPUs confirma a possibilidade de especialização com eficiência computacional. À medida que a qualidade dos modelos base se aproxima, a vantagem competitiva muda para a camada de pós-treinamento, onde os métodos MoL podem definir ecossistemas que atraem as aplicações mais capazes.
Um grupo conjunto de pesquisadores da Universidade de Pequim e do Instituto de Microsistemas de Xangai da Academia Chinesa de Ciências desenvolveu o primeiro chip no mundo com dinâmica neuromórfica de nível de milissegundo, baseado em memristores de transição de fase. Este desenvolvimento foi publicado na revista Science em 14 de julho.
Este chip, com apenas 0,28 milímetros quadrados, é capaz de atingir um atraso de cálculo de 2,12 milissegundos. Ele integra matrizes de computação na memória para executar operações matriciais e matrizes de deslocamento em degraus para integração adaptativa.
O chip muda fundamentalmente a abordagem aos cálculos em sistemas de dinâmica neural. A arquitetura tradicional de Von Neumann separa memória e processador, forçando os dados a se moverem constantemente entre eles, criando gargalos de latência e consumo de energia ao resolver equações diferenciais necessárias para a dinâmica neural. A equipe da Universidade de Pequim resolveu esse problema de outra forma, utilizando as propriedades físicas dos próprios dispositivos de memória de transição de fase para realizar os cálculos, em vez de criar circuitos digitais mais rápidos.
Os memristores de transição de fase possuem condutividade continuamente variável, que pode ser programada com precisão e desenvolvida de forma previsível ao longo do tempo. Os pesquisadores correlacionaram a busca pela integração adaptativa exigida pelos resolvedores de dinâmica neural diretamente com a evolução da condutividade desses memristores. Isso significa que a busca, avaliação e ajuste do tamanho do passo, que os circuitos digitais realizam através de múltiplos ciclos de clock, ocorre por meio da evolução física dentro do próprio dispositivo.
Além disso, o controle multinível da condutividade permite a criação de matrizes de computação em memória de alta densidade, que armazenam simultaneamente os pesos da rede neural e executam operações matriciais dentro de uma única matriz.
Os dados experimentais demonstram um desempenho impressionante. Em comparação com os aceleradores ASIC mais avançados, o sistema oferece um aumento de 3,82 a 36,27 vezes com uma redução no consumo de energia de 3,9% a 7,8%. Em tarefas de reconstrução de superfície do córtex cerebral de alta precisão, o sistema supera o GPU NVIDIA A100 em 50,38 a 478,18 vezes. Este foi o primeiro caso em que o hardware de dinâmica neural foi levado a operar em modo de tempo real de nível de milissegundo, transformando aplicações anteriormente limitadas ao processamento offline em capacidades de tempo real online.
O artigo publicado na Science também contém um artigo de revisão descrevendo este trabalho como uma mudança de paradigma nos cálculos controlados fisicamente. A importância deste desenvolvimento vai além da modelagem cerebral demonstrada e inclui potencial para interfaces cérebro-computador em tempo real, gêmeos digitais do cérebro, navegação neural para cirurgia e diagnóstico inteligente de doenças neurodegenerativas. O chip, operando a 50 MHz com pipeline de 9 estágios, demonstra que inovações arquitetônicas podem proporcionar melhorias de ordem de magnitude em comparação com a abordagem de 'força bruta' usando GPUs para tarefas de computação especializadas.
A pesquisa foi apoiada pelos programas New Cornerstone Investigator, Programa Nacional de P&D e Fundação Nacional de Ciências Naturais, bem como pelo Laboratório Chave de Chips de Computação em Memória de Guangdong. Este chip representa uma contribuição claramente chinesa para a área em desenvolvimento de computação controlada fisicamente com computação em memória, onde o aumento de desempenho é determinado pela física dos dispositivos, e não pela escalabilidade da Lei de Moore.
