UNISOC apresenta UniSwap Ultra Engine para gerenciamento de memória de smartphones com memória flash
Leia mais
Pandaily
pandaily.com

UNISOC apresenta UniSwap Ultra Engine para gerenciamento de memória de smartphones com memória flash

A UNISOC anunciou o UniSwap Ultra Engine, um sistema de gerenciamento de memória para smartphones que combina agendamento no nível do chip, memória compactada e mecanismo de paginação baseado em memória flash. Esta tecnologia foi apresentada em 20 de novembro, e relatórios chineses no dia seguinte descreveram detalhadamente sua arquitetura e resultados laboratoriais.

O mecanismo utiliza o armazenamento UFS para expandir o volume de memória disponível aos aplicativos quando a memória RAM física é limitada. É importante notar que esta é uma técnica de memória virtual, e não a instalação de DRAM adicional. Por exemplo, um smartphone com 4 GB de RAM física não se transformará automaticamente em um dispositivo com 6 GB de RAM física apenas pelo uso de parte do armazenamento para paginação.

De acordo com declarações da UNISOC, um smartphone com 4 GB usando este esquema pode atingir uma fluidez diária comparável ao modelo tradicional de 6 GB. Além disso, a empresa relata uma redução de 20% na latência do sistema e uma melhoria de 20% na retenção de aplicativos em segundo plano. Esses indicadores são atribuídos diretamente aos testes laboratoriais da UNISOC, e não a testes independentes de dispositivos.

Estrutura e princípios de funcionamento do motor

O sistema é descrito em três níveis. No nível do System on Chip (SoC), os controladores de qualidade de serviço da CPU e DDR regulam a largura de banda, a frequência e o tempo de acesso em resposta às mudanças na carga de trabalho. Para reduzir atrasos ao mover dados entre a memória e o armazenamento, são usadas otimizações do controlador UFS, otimização da interface física, acesso prioritário e pré-busca de dados.

O nível de software é responsável pela compactação da memória ocupada por aplicativos em segundo plano e pela distribuição dinâmica desse volume compactado entre ZRAM e UFS. Ele também gerencia os ciclos de vida dos aplicativos e o processo de liberação de memória. O objetivo é minimizar a necessidade de reinicialização completa dos aplicativos quando os usuários alternam entre mensageiros, vídeos, jogos e outras tarefas.

O terceiro nível envolve a colaboração com fabricantes de armazenamento em relação às características da memória flash, firmware e coordenação do sistema de arquivos. A UNISOC afirma que as soluções UFS desenvolvidas individualmente levam em conta os requisitos de durabilidade e latência sob tráfego de paginação repetido. No entanto, o anúncio não contém medições independentes de durabilidade que confirmem benefícios semelhantes para todos os tipos de armazenamento.

Essas declarações referem-se à coordenação de recursos de memória e armazenamento existentes, e não à apresentação de um novo dispositivo ou à prova de propriedades físicas de DRAM adquiridas por memória flash. Os resultados reais dependerão do tipo de carga de trabalho do aplicativo, do comportamento de compactação, do hardware de armazenamento e da integração do dispositivo. O anúncio fornecido não lista todos os telefones que usarão essa tecnologia nem oferece um protocolo reproduzível para comparação por terceiros. A contribuição específica reside na abordagem descrita de integração de chip e software; as melhorias percentuais e a experiência permanecem como resultados declarados pelo fornecedor.

Histórias semelhantes

Tencent lançou os pesos do modelo Hy4 flash para download em três versões
Leia mais
pandaily.com

Tencent lançou os pesos do modelo Hy4 flash para download em três versões

A Tencent publicou os pesos do modelo Hy4 flash disponíveis para download após o anúncio da API deste modelo em 16 de novembro. Isso foi relatado pelo IT Home em 18 de novembro. Esta atualização representa a possibilidade de obter checkpoints implantáveis, e não uma repetição das especificações e preços da API que foram abordados anteriormente pela Pandaily.

O cartão oficial do modelo da Tencent lista três versões: Hy4 flash, que é um modelo com ajuste de instruções; Hy4 flash-FP8, sua versão quantizada com ajuste de instruções; e Hy4 flash-base, um modelo base pré-treinado. O checkpoint base é destinado a treinamento adicional, e não para substituir as versões prontas para bate-papo.

A Pandaily verificou os três repositórios oficiais no Hugging Face. Os arquivos de índice de pesos referiam-se às listas de shards disponíveis, e as solicitações anônimas de intervalo de bytes retornaram os dados dos arquivos de peso para cada versão. Essas verificações confirmam a disponibilidade para download, mas não constituem downloads completos dos checkpoints nem testes de saída bem-sucedidos.

Um checkpoint padrão contém cerca de 440,5 GB de dados tensoriais, enquanto para FP8 são aproximadamente 287,1 GB. Esses tamanhos se referem aos dados dos pesos, e não aos requisitos mínimos de memória da GPU. A quantização reduz o volume de armazenamento, mas não transforma o lançamento em um modelo para pequenos dispositivos de consumo.

A documentação de implantação é uma parte importante deste lançamento. A Tencent fornece imagens de contêineres especializados vLLM e SGLang, incluindo exemplos de paralelismo tensorial oito-way. As instruções para Transformers indicam a solicitação de suporte ao modelo, e não pressupõem que o pacote padrão lançado já suporte essa arquitetura.

O script do vLLM também requer memória de host, pois as tabelas Engram são descarregadas na memória da CPU por padrão. A configuração inicial usa um contexto de 8192 tokens; a capacidade declarada do modelo de 1 milhão de tokens não garante que cada configuração de hardware possa suportar tal comprimento. Os guias de memória publicados são estimativas, e não requisitos mínimos medidos.

Os checkpoints utilizam a licença Tencent Hy 1.0, que especifica claramente que não é Apache 2.0, apesar de ter sido derivado dela. A Seção 10 exige uma licença escrita separada para operadores do modelo como serviço cujo rendimento mundial agregado exceda US$ 50 milhões durante um período consecutivo de 12 meses, ou para o uso do modelo em um produto ou serviço com mais de 100 milhões de usuários ativos por mês. Uma exceção estritamente definida para uso interno se aplica quando o modelo e seus resultados não são fornecidos a terceiros.

Portanto, este lançamento pode ser melhor descrito como aberto em termos de pesos de acordo com os termos declarados pela Tencent, e não como código aberto ilimitadamente permitido. A Tencent informa que o lançamento dos pesos do modelo maior Hy4 ainda está em preparação.

D-Robotics e Infinigence AI integram ferramentas abertas de robótica em chips Sunrise
Leia mais
pandaily.com

D-Robotics e Infinigence AI integram ferramentas abertas de robótica em chips Sunrise

A D-Robotics e a Infinigence AI anunciaram um acordo pelo qual um conjunto de ferramentas de código aberto para inteligência artificial incorporada será integrado aos chips Sunrise da D-Robotics e à sua plataforma de software RoboGo. Isso foi anunciado por ambas as empresas em 13 de novembro.

Relata-se que alguns componentes já estão operando em conjunto, permitindo que os desenvolvedores realizem todo o ciclo de trabalho: treinar modelos, controlar dispositivos, executar agentes e implantá-los no hardware dos robôs dentro de um fluxo de trabalho unificado.

Este conjunto de ferramentas de código aberto abrange quatro estágios de desenvolvimento de robôs. Foi desenvolvido em colaboração com a Universidade Tsinghua e a Infinigence AI.

A D-Robotics é responsável por fornecer o hardware e a plataforma. Seus chips Sunrise fornecem acesso aos dispositivos e a execução de operações diretamente a bordo, enquanto o RoboGo cuida do gerenciamento do ambiente, planejamento de tarefas e monitoramento de tempo de execução.

De acordo com os comunicados das empresas, a integração já demonstrou resultados: os desenvolvedores podem selecionar o ambiente de treinamento no RoboGo, controlar remotamente e chamar hardware periférico, bem como realizar o treinamento de modelos, a execução de agentes e testes com feedback do hardware em um único processo.

Este anúncio expande trabalhos anteriormente demonstrados por ambas as partes. A Infinigence AI abriu o código-fonte do APXInf em setembro, utilizando o modelo otimizado Pi0.5 para NVIDIA Jetson Thor, e a adaptação S600 adicionou um chip de robô doméstico às suas soluções alvo. A D-Robotics anteriormente combinava modelos de robôs de terceiros com o Sunrise S600, incluindo o GigaBrain-0.7 da GigaAI.

Nenhuma das empresas publicou métricas de desempenho para o fluxo de trabalho combinado nem informou quando mais modelos Sunrise suportarão o APXInf.

Google lança TPU 8tx e TPU 8i Max para proteção de dados e aumento de memória em IA
Leia mais
olhardigital.com.br

Google lança TPU 8tx e TPU 8i Max para proteção de dados e aumento de memória em IA

O Google divulgou dois novos sistemas de chips de inteligência artificial (IA), denominados TPU 8tx e TPU 8i Max, que representam uma expansão da oitava geração de seus processadores. Um destes novos dispositivos foi concebido especificamente para garantir a proteção de dados durante o processamento, enquanto o outro foi criado para gerenciar grandes volumes de informações utilizadas por agentes de IA.

Com estes lançamentos, a corporação passa a disponibilizar quatro sistemas TPU de oitava geração em um único ano, sendo cada um direcionado a distintas demandas de treinamento e execução de modelos. Estes equipamentos complementam os TPU 8t e TPU 8i, que foram apresentados em abril durante o evento Google Cloud Next.

O TPU 8t é focado no treinamento de modelos em grande escala, e o TPU 8i é destinado a tarefas que requerem respostas ágeis. De acordo com o Google, esses novos chips proporcionam até 2,7 vezes mais desempenho no treinamento e apresentam uma relação custo-desempenho na inferência 80% superior à geração anterior, respectivamente.

O TPU 8tx é voltado para empresas e órgãos governamentais que necessitam manusear informações confidenciais sem que estas sejam expostas durante o processo de computação. Por sua vez, o TPU 8i Max foi desenhado para aplicações que demandam a análise simultânea de vastas quantidades de dados, como agentes de IA que examinam extensos códigos ou longas gravações de vídeo.

O TPU 8tx integra funcionalidades de computação confidencial diretamente em seu hardware. Isso possibilita que dados e informações internas dos modelos permaneçam seguros mesmo quando estão sendo utilizados pelo sistema. Este recurso é adequado para organizações que tratam de dados privados ou que precisam cumprir normas de segurança muito estritas.

Este equipamento emprega a mesma tecnologia de processamento do TPU 8t, mas combina-a com processadores AMD EPYC de quinta geração e a rede Boardfly. O Google informou que esta combinação resulta em um tempo de resposta até metade do TPU 8t, sem causar impacto significativo no desempenho.

A arquitetura também suporta a adaptação de modelos de IA utilizando dados privados, a criação de versões reduzidas a partir de modelos maiores e o treinamento de agentes sem a necessidade de transferir informações entre diferentes conjuntos de servidores.

O TPU 8i Max consolida dois chips TPU 8i em uma única estrutura física, o que lhe confere o dobro da capacidade de processamento e de recursos de memória em comparação com o modelo padrão. Além disso, o Google mencionou que este sistema concentra duas vezes mais componentes de processamento no mesmo espaço de rack, permitindo maior capacidade computacional nos centros de dados.

Adicionalmente aos hardwares, a empresa introduziu ferramentas para auxiliar os desenvolvedores. O TorchTPU, liberado como código aberto, permite que aplicações desenvolvidas com PyTorch e modelos do Hugging Face sejam executadas nas TPUs sem exigir a reescrita do código. Outra inovação é o TPU Sync, que aprimora a comunicação entre os chips, servidores e sistemas de armazenamento, otimizando o acesso às informações que a IA reutiliza ao gerar respostas. O Google afirmou que isso pode diminuir em mais de 90% o tempo de transferência desses dados e a espera pela primeira palavra ou parte de uma resposta.

Por fim, o Cloud Pathways tornou-se acessível de forma geral no Google Kubernetes Engine (GKE). Esta ferramenta facilita a coordenação de múltiplos conjuntos de processadores TPU como se fossem uma única unidade, simplificando a execução de tarefas que exigem alta capacidade de processamento.

O Google relatou que cerca de 100 clientes já utilizam suas TPUs, abrangendo laboratórios de IA, instituições financeiras, varejistas e universidades. A própria companhia emprega ferramentas de inteligência artificial, como AlphaChip e Gemini, para acelerar o desenvolvimento de seus próprios processadores.

Popular