A equipe MNN da Taobao lançou publicamente o modelo MNN-Pocket-0.3B. Este modelo de linguagem, que contém cerca de 300 milhões de parâmetros, foi desenvolvido para funcionar diretamente dentro de aplicativos móveis. De acordo com um comunicado do IT Home em 6 de novembro, o modelo é construído na base do motor de inferência MNN e é destinado a grandes aplicativos de serviço e comércio universais, como o Taobao, onde os recursos computacionais, de memória e de bateria limitados no dispositivo devem ser distribuídos entre múltiplas funções.
A equipe estabeleceu quatro objetivos principais para seu modelo, que chamaram de modelo grande nativo de aplicativo. Esses objetivos incluíam atingir uma velocidade de decodificação superior a 200 tokens por segundo em certos dispositivos. O consumo de memória de pico deve permanecer abaixo de 300 MB, deixando uma margem dentro do orçamento total do modelo de cerca de 500 MB para crescimento de contexto e sobrecargas de integração. Além disso, um processo típico de inferência não deve consumir mais de um décimo de porcento da carga da bateria de um telefone padrão, o que significa que 100 execuções custarão menos de 1%. Finalmente, ao executar as tarefas de negócios definidas, o modelo deve demonstrar resultados comparáveis aos modelos da classe 8B.
Testes mostraram que o MNN-Pocket-0.3B funciona totalmente offline no iPhone 18 Pro usando o motor MNN, alcançando uma velocidade média de decodificação de cerca de 350 tokens por segundo. O pacote de implantação INT4, que inclui pesos, tokenizador, grafo de computação e configuração de inferência, tem um tamanho de 173 MB. No iPad Pro com chip M5 e usando o backend Metal, a equipe registrou uma velocidade de decodificação de 466 tokens por segundo e uma velocidade de preenchimento de 8721 tokens por segundo, com a memória de pico aumentando em 228 MB em relação à linha de base. No telefone Snapdragon 8 Gen 5 usando o backend da CPU, foram registrados 251 tokens por segundo, e o custo adicional de energia para 100 execuções no OnePlus 13 foi de cerca de 0,3% da carga da bateria.
O modelo foi treinado do zero, com foco especial nos idiomas chinês e inglês. Após testar configurações densas na faixa de 50 milhões a 1,3 bilhão de parâmetros, a equipe determinou que o tamanho de cerca de 300 milhões era o maior que satisfazia simultaneamente os requisitos de memória e velocidade. Foi decidida a utilização de 28 camadas com atenção de consulta agrupada (grouped-query attention), pois a transição para 36 camadas não aumentou as métricas médias, mas retardou a decodificação. O vocabulário foi reduzido de aproximadamente 151.000 tokens do tokenizador Qwen3 para 64.000, o que permitiu reduzir os custos de embeddings e camada de saída.
A equipe relata um nível IFEval de 73,20, IFEval chinês de 74,59 e uma média de 50,00 em 11 benchmarks chineses e em inglês, superando modelos de tamanho semelhante e maiores, incluindo o Qwen3-0.6B. Na ficha do modelo, observa-se que, assim como outros modelos com menos de um bilhão de parâmetros, ele não é recomendado para tarefas matemáticas complexas ou geração de código em horizontes longos.
As opções publicadas no Hugging Face incluem o modelo base para pré-treinamento contínuo, um ponto de verificação de ajuste fino supervisionado, um modelo com ajuste de instruções, um build GGUF, um build MNN INT4 e um modelo com cabeça de decisão para seleção entre candidatos. O lançamento também contém um rascunho do modelo de decodificação especulativa DFlash2, que, segundo a equipe, é capaz de dobrar a taxa de transferência de decodificação em certas tarefas.
