Anthropic в четверг, 17-го числа, объявила о трех беспрецедентных показателях, предназначенных для отслеживания скорости развития искусственного интеллекта (ИИ). Эта инициатива появилась вскоре после того, как Dario Amodei, генеральный директор компании, выступил с заявлением о том, что крупнейшие корпорации в секторе должны координировать умеренность в технологическом прогрессе.
Компания также сообщила, что ее чат-бот Claude уже отвечает за 26% внутренней научно-исследовательской и опытно-конструкторской работы (НИОКР) в области ИИ. По данным Anthropic, этот прогресс помогает измерять гонку за системами, которые постепенно способствуют собственной эволюции.
Несмотря на увеличение доли Claude, Anthropic уточняет, что модель еще не действует полностью автономно ни в одной части своего измеряемого НИОКР. Термин «лидирует» в данном контексте означает, что Claude выполняет большую часть полной задачи на основе высокоуровневой директивы, при этом человек остается ответственным за общий надзор и руководство. Этот показатель был равен нулю в феврале.
Кроме того, Anthropic сообщила, что ИИ участвует как минимум в крупных сегментах работы под близким человеческим надзором более чем в 90% своих исследований, включая 26%, где Claude считается лидером.
Для расчета этого показателя Anthropic использовала версию самого Claude для оценки НИОКР компании. Система была применена к шкале оценки автоматизации, созданной Epoch AI, а результаты впоследствии были подтверждены людьми. Компания также разработала график для отслеживания уровня автоматизации Claude с августа 2025 года, предложив другим разработчикам передовых моделей воспроизвести этот метод, используя свои собственные данные и внешнюю проверку.
Вторая метрика, представленная Anthropic, фокусируется на надзоре за агентами ИИ. Компания разработала систему для мониторинга и вмешательства в действия этих агентов и обнаружила, что около 30 тысяч агентов одновременно выполняли инженерные и исследовательские работы на их самой используемой внутренней платформе. Компания также использует различные внутренние автономные мониторы, способные обнаруживать подозрительную активность и направлять ее на анализ человеком. Цель Anthropic — измерить не только объем активных агентов, но и такие аспекты, как доля отслеживаемых действий, время, необходимое для проверки действия, и частота сигнализации о поведении агентов.
Читайте также:
Третья метрика касается объема вычислительной мощности, используемой организацией. Анализируя обзор использования вычислений с 13 по 20 июля, Anthropic установила, что примерно 6% вычислительной мощности, выделенной на НИОКР в области ИИ, было выделено на задачи безопасности. При рассмотрении конкретно вычислений, используемых в НИОКР, «управляемом ИИ», эта доля, выделенная на безопасность, достигла около 12%. Для Anthropic такие данные помогают проиллюстрировать, как распределяются ресурсы по мере продвижения компаний в разработке все более сложных моделей.
Anthropic утверждает, что эти три метрики должны дополнять традиционные оценки возможностей моделей. В то время как тесты на возможности демонстрируют, на что способны модели, новые метрики призваны показать, как они строятся и каков темп этого процесса. Компания заявляет, что такая информация может предоставить внешним исследователям, правительствам и общественности отправную точку для оценки скорости развития в ведущих лабораториях ИИ.
Anthropic заявила, что любой разработчик передового уровня может регулярно публиковать эти показатели, следуя открытой методологии. Компания обосновала раскрытие данных тем, что это обеспечивает большую прозрачность для общественности, третьих сторон и правительств относительно темпов развития ИИ в передовых лабораториях. Это происходит вскоре после того, как Amodei выступил за скоординированное замедление развития ИИ.
Исполнительный директор заявил, что ведущие компании должны замедлить темпы, чтобы дать больше времени на создание механизмов безопасности. Это предложение получило поддержку лидеров отрасли, включая Sam Altman, генерального директора OpenAI; Elon Musk, генерального директора SpaceX; и Demis Hassabis, президента Google DeepMind. Amodei заявил, что его план направлен на контроль скорости эволюции возможностей моделей без ущерба для коммерческого преимущества или лидерства США в области ИИ.
Параллельно дебаты о безопасности усилились после предупреждений экспертов и руководителей о риске того, что системы ИИ станут непонятными или неуправляемыми. На прошлой неделе бывший сотрудник Anthropic покинул компанию, заявив, что она «ставит на кон наши жизни». Дискуссия также достигла Вашингтона (США), где сенатор Берни Сандерс принял участие в мероприятии о опасностях выхода ИИ из-под контроля человека. Anthropic и конкуренты, такие как OpenAI, сталкиваются с усиленным вниманием в отношении гарантий того, что их внутренние агенты будут вести себя ожидаемым образом во время тестирования и выполнения задач. В среду (16-го) OpenAI опубликовала новые примеры агентов ИИ, которые потерпели неудачу в задачах или отклонились от установленного сценария, представив структуру для сообщения о таких инцидентах. В этом контексте Anthropic указывает, что ее новые метрики могут повысить видимость технологического прогресса, особенно с учетом того, что такие системы, как Claude, берут на себя все большую долю работы по разработке ИИ следующего поколения.