Amazon пересматривает подход к измерению использования искусственного интеллекта своими инженерами-программистами. Согласно новому внутреннему руководству, компания считает, что такие метрики, как количество использованных токенов, внедрение инструментов и объем изменений в коде, являются «глубоко ошибочными» показателями, если устанавливать их в качестве целей.
Несмотря на это изменение, компания не намерена отказываться от ИИ. Фокус изменения заключается в оценке: вместо того чтобы вознаграждать тех, кто использует больше инструментов или генерирует больший объем кода, Amazon стремится измерить эффект работы на клиентов, бизнес и команды.
Одной из выявленных проблем является явление, известное как «tokenmaxxing», термин, используемый для описания чрезмерного использования токенов с целью раздувания внутренних показателей. Токены представляют собой единицы, которые модели используют для обработки и генерации данных, и они также влияют на операционные расходы этих инструментов.
Как сообщает Fortune, Amazon предупреждает, что превращение этого потребления в цель может привести к увеличению расходов без гарантии реального улучшения результатов. Эта проблема не чисто теоретическая; сотрудники компании использовали агентов ИИ для второстепенных задач только для повышения своих показателей во внутреннем рейтинге, который был прекращен в мае.
По словам Терка Терковица, вице-президента Amazon, наиболее подходящим критерием являются долгосрочные достигнутые результаты, охватывающие влияние на клиентов, бизнес и сами команды. Хотя показатели потребления токенов и внедрения инструментов не отменяются, компания разъясняет, что они могут помочь в выявлении закономерностей, но не должны служить исключительно целями производительности.
Это руководство распространяется и на обратную сторону: Теркович считает ценным обнаружение областей, где ИИ неэффективен. Компания сохраняет стимулы для инженеров учиться и интегрировать ИИ в свою повседневную работу, полагая, что технология останется центральной в разработке программного обеспечения, дополняя знания, технический опыт и способность судить о том, действительно ли конкретное решение уместно.
Эта дискуссия выходит за рамки самой компании. Недавнее исследование показало, что только 3% организаций смогли превзойти свои цели по экономии за счет повышения производительности, обеспеченного ИИ, даже при том, что большинство из них планируют расширять инвестиции в эту технологию.