Компания Anthropic сообщила, что ее модель Claude теперь участвует в 26% научно-исследовательской и опытно-конструкторской работе внутри компании. Это является частью новых мер, которые компания планирует регулярно публиковать, чтобы продемонстрировать внешним наблюдателям скорость, с которой ИИ создает следующее поколение технологий.
Согласно сообщению стартапа из Сан-Франциско, по состоянию на август, ИИ сотрудничал с людьми в более чем 90% исследовательских задач. Anthropic уточнила, что Claude не функционирует полностью автономно ни в одной из измеряемых областей работы, однако его вклад в развитие технологии значительно возрос: с 1% в марте, согласно масштабу, разработанному независимой некоммерческой организацией Epoch AI.
Эти данные предоставляют один из наиболее подробных публичных обзоров того, как ведущие компании отрасли разрабатывают эту технологию на фоне растущей обеспокоенности тем, что ИИ может достичь точки, когда он будет самостоятельно развивать себя с минимальным участием человека.
Исследователи предупреждают, что по мере того как агенты ИИ становятся более автономными, они могут выработать поведение, которое отклоняется от намерений их создателей, что затрудняет мониторинг или контроль.
В среду конкурент компании, OpenAI, объявил о начале регулярной публикации отчетов о непредвиденном или несанкционированном поведении ИИ, раскрыв шесть таких отчетов о неожиданном или вызывающем беспокойство поведении модели.
Каждое действие проходит проверку
Anthropic сообщила, что в августе на ее основной внутренней платформе одновременно работало около 30 000 агентов ИИ, занимающихся инженерной и исследовательской работой. Компания добавила, что каждое действие, совершаемое этими агентами, проверяется перед выполнением; из более чем миллиарда решений за тот месяц примерно одна из них была заблокирована, что составило около 1 из 47 000.
Кроме того, компания раскрыла, что в течение одной тестовой недели в июле около 6% вычислительной мощности, используемой Anthropic для исследований ИИ, было направлено на работу по обеспечению безопасности, а этот показатель вырос до 12% для исследований, проводимых самим ИИ. Было отмечено, что эти цифры являются консервативными, поскольку вычислительная мощность, которая одновременно использовалась для продвинутой безопасности и возможностей, учитывалась как работа над возможностями.
