Callosum arrecada US$ 100 milhões para reduzir custos de IA roteando cargas de trabalho para chips especializados
Leia mais
Ventureburn
ventureburn.com

Callosum arrecada US$ 100 milhões para reduzir custos de IA roteando cargas de trabalho para chips especializados

A empresa Callosum levantou financiamento no valor de 100 milhões de dólares americanos para desenvolver um software que direciona tarefas de inteligência artificial para os chips mais econômicos capazes de realizar o trabalho necessário. Esta iniciativa visa resolver o problema dos altos custos operacionais no setor de IA.

A rodada de investimento foi liderada pela Atomico, com participação da Plural e DCVC. Além disso, este foi o primeiro investimento do novo Fundo Soberano do Reino Unido (Sovereign AI Fund). Com um montante de 73,5 milhões de libras esterlinas, esta rodada está entre as maiores rodadas de capital semente na história do Reino Unido.

O financiamento chega em um momento crítico, à medida que a IA passa do treinamento de modelos em larga escala para sua implementação em larga escala. Neste período, as empresas descobrem que o custo principal é gasto especificamente na execução desses modelos.

A maioria das empresas hoje executa cada tarefa de IA em GPUs universais caras da Nvidia. Independentemente de a tarefa exigir imenso poder computacional ou apenas processamento básico, o mesmo chip caro é utilizado.

Essa abordagem baseada em força bruta esgota rapidamente os orçamentos. Para muitas empresas focadas em IA, a fase de inferência consome mais de 50% da receita. Embora o treinamento atraia mais atenção, é a inferência que determina a lucratividade do negócio.

A Callosum propõe uma abordagem diferente, renunciando ao tratamento uniforme para todos os processos de computação. A empresa foi fundada por neurocientistas de Cambridge, Daniel Akarcay e Yashkha Akhterberg, que se inspiraram na biologia. Eles criaram um software que imita o funcionamento do cérebro humano, que utiliza pequenos circuitos neuronais especializados para executar ações específicas.

O software da Callosum funciona como uma camada inteligente de roteamento entre hardware e aplicações. Ele divide tarefas complexas de IA e distribui automaticamente cada parte para o chip e modelo disponível mais eficiente e barato.

Em vez de usar o Nvidia por padrão, a Callosum colabora com fabricantes de chips especializados, como Axelera, Cerebras e Rebellions. Uma tarefa simples recebe um chip simples, e uma tarefa complexa recebe hardware pesado.

Os primeiros resultados já estão sendo demonstrados em implantações iniciais. Em parceria com o fabricante de chips Cerebras para cargas de trabalho financeiras de agentes, a Callosum relata uma redução de custos de 70%. Ao mapear tarefas para silício especializado em vez de GPUs genéricas, a empresa também garante um aumento de velocidade de quatro vezes.

A tese principal que a empresa apresenta aos investidores é que a próxima fase do desenvolvimento da IA não está relacionada à compra de mais chips, mas sim ao uso o mais eficiente possível do hardware existente. A empresa observa que 'executar modelos generativos de IA é incrivelmente caro' e busca mudar a interação entre software e microchips físicos para que as empresas parem de pagar a mais.

O mercado de IA está mudando: a corrida pelo treinamento de modelos fundamentais está desacelerando, mas a corrida para sua implementação barata está acelerando. Isso torna a orquestração de cargas de trabalho o próximo grande campo de batalha no hardware. Com o apoio da Atomico e do governo do Reino Unido, a Callosum ocupa um lugar central nesta tendência.

Os fundadores afirmam que o futuro da computação em IA não reside em executar cada tarefa no maior GPU disponível, mas em escolher a ferramenta adequada para o trabalho específico, assim como faz o cérebro.

Histórias semelhantes

Processamento local de IA exige grande volume de memória RAM, afetando o custo dos dispositivos
Leia mais
iol.co.za

Processamento local de IA exige grande volume de memória RAM, afetando o custo dos dispositivos

Embora muitos usuários ainda não estejam convencidos dos benefícios da inteligência artificial, é inegável quanta capacidade de recursos essa tecnologia consome. Estamos falando especificamente de memória de acesso aleatório (RAM), ou 'memória unificada', como a Apple prefere, e não do espaço de armazenamento de longo prazo.

A simples verdade é que as tarefas locais de IA exigem uma enorme quantidade de memória, o que muda fundamentalmente os princípios de design de computadores, tablets e smartphones. Funções de IA integradas diretamente ao dispositivo, como os recursos integrados do ChatGPT da Apple, necessitam de acesso instantâneo ao poder de processamento do sistema.

Para garantir respostas rápidas e fluidas, esses modelos de IA devem residir na memória ativa do dispositivo. Quando o sistema precisa de acesso rápido às informações, a indexação e o processamento desses dados exigem um espaço de trabalho temporário rápido, que é a memória RAM.

Pode-se fazer uma analogia: a RAM é semelhante à superfície de uma mesa física; quanto maior a mesa, mais documentos podem ser colocados simultaneamente para trabalho. O disco rígido ou SSD, por outro lado, funciona como um arquivo sob a mesa, onde a maioria dos arquivos é armazenada a longo prazo.

Para lidar com essas novas cargas de trabalho mais pesadas, os fabricantes de equipamentos estão ativamente 'garantindo o futuro' de seus modelos mais recentes, equipando-os com um volume significativamente maior de memória. Este aumento repentino na demanda levou naturalmente ao aumento dos preços desses componentes vitais em todo o setor de tecnologia.

Portanto, esses altos preços da RAM agora aumentam os custos de varejo de tudo, desde smartphones e notebooks modernos até reprodutores de mídia e consoles para jogos de alto desempenho. No centro desse aumento generalizado de preços está a IA local — uma tecnologia que ainda não conquistou totalmente o apreço de muitos consumidores comuns.

Popular