À medida que as aplicações baseadas em inteligência artificial ultrapassam a simples resposta a solicitações e começam a desempenhar funções de agentes, escrever código e controlar sistemas físicos, a economia de tokens torna-se um assunto de crescente preocupação para empresas e desenvolvedores.
Jigar Khalani, Diretor Sênior de Arquitetura e Engenharia de Soluções Corporativas na NVIDIA South Asia, ao falar no evento YourStory's DevSparks Hyderabad 2026, detalhou a emergente 'economia de tokens', dividindo-a em quatro componentes: utilidade, demanda, oferta e monetização.
Ele enfatizou que o princípio chave é que o problema surge quando há um consumo excessivo de recursos, o que leva à ideia de economia.
O consumo de tokens demonstra um rápido crescimento. Khalani relatou que inicialmente a NVIDIA planejava usar 16 trilhões de tokens durante 2026, mas até agosto esse número já ultrapassou 18 trilhões, sem contar o uso de tokens através de ferramentas como o Microsoft Copilot.
Para os desenvolvedores, na opinião de Khalani, a questão prioritária não é escolher o maior modelo, mas sim determinar o modelo mais adequado para executar uma tarefa específica. Ele observou que uma solicitação simples nem sempre exige o uso de um modelo grande.
Ao passar para tarefas mais complexas, surgem problemas significativos de latência, a largura de banda necessária diminui e o tipo de modelo necessário se torna muito mais complexo.
Assim, a escolha de modelos baseada no tipo de carga de trabalho, em vez do uso de um único modelo universal, pode se tornar uma parte importante do gerenciamento de custos de IA.
O lado da demanda se torna mais complexo à medida que as organizações migram para a IA de agente. Uma aplicação de IA pode gerar tokens não apenas em resposta à solicitação inicial do usuário, mas também durante o processo de raciocínio, feedback, chamadas de ferramentas e ciclos de trabalho repetidos do agente.
Khalani aconselhou os CIOs e CTOs a considerar a demanda por tokens através de uma fórmula relativamente simples: número de usuários simultâneos, número de solicitações por usuário e número médio de tokens consumidos por solicitação. Em seguida, as organizações devem levar em conta os tipos de carga de trabalho, os padrões de uso e a possibilidade de atender às solicitações através de cache em vez de gerar novos tokens.
Ele acrescentou que quanto mais se puder usar cache em vez de criar um novo token, mais se pode reduzir os custos, pelo menos em uma quinta ou oitava parte. Isso, segundo ele, é o padrão de mercado atual para avaliar o potencial de economia na economia de tokens.
O gerenciamento da oferta, explicou Khalani, requer otimização em três níveis: eficiência do modelo, eficiência do sistema e eficiência do software. Ele afirmou que os tempos em que o conhecimento de sistemas e hardware era aceitável para um resumo acabaram, afirmando que os desenvolvedores precisam entender cada vez mais os sistemas básicos que sustentam suas aplicações. 'Uma nova era chegou.'
Isso implica a necessidade de compreender memória, conexões de rede, armazenamento de dados e distribuição de cargas de trabalho entre unidades de processamento gráfico (GPUs). Por exemplo, para modelos grandes, a questão não é apenas a quantidade de GPUs usadas, mas como elas interagem entre si e se devem ser colocadas no mesmo ou em racks diferentes.
Essa mudança pode potencialmente afetar até mesmo o notebook. Khalani sugeriu que as empresas podem começar a avaliar a possibilidade de executar pequenos modelos de IA localmente nos dispositivos dos funcionários, o que diminuiria a necessidade de enviar cada solicitação para uma API, nuvem ou fábrica de IA interna.
No entanto, para Khalani, a oportunidade mais significativa está além da simples redução de custos de tokens. Ele acredita que o futuro não reside em quantos tokens são usados e quão eficiente se torna, mas em quais dados são fornecidos, qual modelo é treinado ou passa por pós-treinamento, tornando-o cada vez mais inteligente para fornecer um token mais inteligente em resposta.
Isso pode levar ao que Khalani chamou de 'aderência' do cliente. Quanto melhor o sistema de IA entende o cliente recorrente, mais valioso ele se torna para ele e, possivelmente, mais disposto ele estará a pagar por ele.
'É aqui que entra a monetização de tokens, e este será o negócio mais lucrativo que você poderá ter', concluiu ele.
À medida que a IA de agente e física se expande, a infraestrutura subjacente se tornará cada vez mais complexa. Para os desenvolvedores, as fronteiras entre software, modelos, hardware e economia estão começando a se apagar.