Anthropic внедрила конкретную меру для начала реализации предложения своего генерального директора Дарио Амодеи о замедлении темпов разработки самых передовых систем искусственного интеллекта (ИИ), включив во внешние оценщики компанию.
Accenture была выбрана в качестве первого внешнего оценщика (встроенного оценщика). Это сотрудничество позволит специалистам Faculty, подразделению ИИ Accenture, работать внутри Anthropic для проверки механизмов безопасности компании. Деятельность включает тестирование защитных мер, учения по 'красным командам' и анализы, направленные на подтверждение того, что модели ИИ соответствуют человеческим ценностям.
Anthropic и Accenture установили минимальные инвестиции в размере 1 миллиарда долларов США (примерно 5,3 миллиарда бразильских реалов) для развития этой возможности в течение следующих пяти лет. Однако Anthropic заявила, что, учитывая срочность и важность работы, она сама покроет расходы на деятельность Accenture.
В долгосрочной перспективе компания ожидает, что такая деятельность будет финансироваться за счет государственных или общих ресурсов, как это изложено в Рамках передового ИИ (Advanced AI Framework), представленных Anthropic в июне. Поскольку эти структуры еще не установлены, компания планирует сотрудничать с различными оценщиками и моделями финансирования.
Предложение Амодеи предусматривало, что независимые оценщики должны иметь доступ к уровню сотрудников в компаниях, занимающихся ИИ. Цель этого — дать этим специалистам возможность напрямую проверять практики безопасности и сообщать о любых инцидентах.
Представляя свою идею, Амодеи заверил, что Anthropic возьмет этот первый этап на себя «в одностороннем порядке» и призвал другие корпорации отрасли принять аналогичную позицию.
Другие партнерства и ответственность
Сотрудничество с Accenture не будет эксклюзивным; Anthropic сообщила, что также контактирует с некоммерческой исследовательской организацией METR и другими потенциальными организациями для участия в этом процессе.
Тем не менее, компания подчеркнула, что ответственность за безопасность своих моделей полностью лежит на ней, и присутствие внешних оценщиков не уменьшает этот долг.
Anthropic прокомментировала: «Мы делимся этими первыми усилиями сейчас, чтобы люди и другие разработчики ИИ могли увидеть наш процесс». Компания добавила, что намерена совершенствовать эту методологию по мере созревания отрасли и предоставит новую информацию, как только работа начнется и будут интегрированы дополнительные оценщики.
При участии Accenture компания сделала фундаментальный практический шаг для преобразования одной из центральных идей плана Амодеи в функциональную структуру: позволить внешней организации напрямую получить доступ к компании для аудита ее систем безопасности и выявления потенциальных сбоев до того, как они обострятся.