A Amazon está reavaliando a maneira como mede o emprego da inteligência artificial por seus engenheiros de software. De acordo com uma nova diretriz interna, a empresa considera que métricas como a quantidade de tokens utilizados, a adoção de ferramentas e o volume de modificações no código são indicadores "profundamente falhos" quando estabelecidos como objetivos.
Apesar dessa mudança, a companhia não pretende abandonar a IA. O foco da alteração reside na avaliação: em vez de recompensar aqueles que utilizam mais ferramentas ou geram maior volume de código, a Amazon busca mensurar o efeito do trabalho nos clientes, nos negócios e nas equipes.
Um dos desafios identificados é o fenômeno conhecido como "tokenmaxxing", termo usado para descrever o uso excessivo de tokens com o intuito de inflacionar os indicadores internos. Os tokens representam as unidades que os modelos empregam para processar e gerar dados, e também afetam os custos operacionais dessas ferramentas.
Conforme relatado pela Fortune, a Amazon adverte que transformar esse consumo em meta pode resultar em aumento de despesas sem garantir uma melhora real nos resultados. Este problema não é meramente teórico; funcionários da empresa chegou a utilizar agentes de IA em atividades supérfluas apenas para elevar seus números em um ranking interno que foi descontinuado em maio.
Para Terk Terkowitz, vice-presidente da Amazon, o critério mais adequado reside nos resultados alcançados a longo prazo, abrangendo o impacto para os clientes, para o negócio e para as próprias equipes. Embora os indicadores de consumo de tokens e adoção de ferramentas não sejam eliminados, a empresa esclarece que eles podem auxiliar na identificação de padrões, mas não devem servir exclusivamente como metas de desempenho.
A orientação se aplica também ao oposto: Terkowitz considera valiosa a descoberta de áreas onde a IA não está sendo eficaz. A companhia mantém o incentivo aos engenheiros para que aprendam e integrem a IA em suas rotinas diárias, acreditando que a tecnologia permanecerá central no desenvolvimento de software, aliada ao conhecimento, à experiência técnica e à capacidade de julgar se uma solução específica é realmente pertinente.
Essa discussão transcende os limites da própria empresa. Um estudo recente demonstrou que somente 3% das organizações conseguiram superar suas metas de economia através de ganhos de produtividade proporcionados pela IA, mesmo com a maioria delas planejando expandir seus investimentos nessa tecnologia.