ModelBest lança MiniCPM-V 4.7, o primeiro modelo multimodal com MoE que funciona em telefones usando 3 GB de memória
Leia mais
Pandaily
pandaily.com

ModelBest lança MiniCPM-V 4.7, o primeiro modelo multimodal com MoE que funciona em telefones usando 3 GB de memória

A ModelBest apresentou uma nova versão de sua linha de modelos multimodais para dispositivos — MiniCPM-V 4.7. Este modelo está disponível em dois tamanhos: 35B-A3B e 1B. É importante notar que a versão 35B-A3B é o primeiro modelo com arquitetura Mixture-of-Experts (MoE) na série MiniCPM-V.

Os pesos, código e documentação deste modelo foram publicados no repositório OpenBMB no GitHub sob a licença Apache-2.0.

Eficiência em Dispositivos Móveis

A principal vantagem declarada é a alta eficiência ao operar em smartphones. A ModelBest afirma que o modelo 35B-A3B, que ativa cerca de 3 bilhões de parâmetros por token, é capaz de funcionar no iPhone 17 Pro Max usando apenas cerca de 3 GB de RAM. Além disso, a velocidade de decodificação excede 13 tokens por segundo.

A empresa explica este resultado através de uma nova técnica de aceleração de inferência que eles chamaram de LES (lookahead expert scheduling) e descreve o modelo como o primeiro modelo MoE de código aberto que pode funcionar perfeitamente e sem perdas diretamente no dispositivo.

Resultados de Teste e Comparação

De acordo com os benchmarks apresentados pela equipe, o modelo 35B-A3B demonstra os seguintes resultados: 91.72 no MMBench, 91.2 no OCRBench e 90.21 no CMMLU. No modo de instruções, a ModelBest afirma que ele supera o Qwen3.6 35B-A3B na pontuação geral, enquanto o tempo de raciocínio é menor.

A versão 1B melhorou as capacidades básicas em comparação com o MiniCPM-V 4.6. Além disso, a empresa informa que esta versão supera o Qwen3.5 0.8B tanto na pontuação geral quanto na eficiência de inferência.

Testes realizados pela QbitAI mostraram que o modelo lida com sucesso com tarefas de raciocínio em gráficos e conversão de artigos acadêmicos para formato Markdown, tudo isso ocorrendo offline no telefone, o que visa o trabalho local confidencial com documentos.

Suporte a Plataformas e Ferramentas Adicionais

O MiniCPM-V 4.7 suporta os sistemas operacionais iOS, Android e HarmonyOS. O modelo foi adaptado para funcionar com plataformas de chipset da Intel, AMD, Arm, Rockchip e Houmo AI, permitindo seu uso tanto em dispositivos móveis quanto em PCs locais.

Junto com o próprio modelo, a ModelBest forneceu o código-fonte aberto do método Self-Replay Fine-Tuning (SRFT). Este método de ajuste fino é projetado para ajudar os desenvolvedores a adicionar novas funcionalidades com custos mínimos, ao mesmo tempo que previne o esquecimento de habilidades adquiridas anteriormente.

Este lançamento continua a publicação estável de modelos na linha MiniCPM, seguindo o MiniCPM-V 4.6 em maio e o modelo de texto MiniCPM5-2B em setembro.

Popular