Anthropic, создатель Claude, опубликовала 93-страничный документ с подробным описанием потенциальных препятствий для своего бизнеса. Этот материал был подан 26 октября в Комиссию по ценным бумагам США (SEC) в качестве части проспекта первичного публичного размещения акций (IPO) компании, котирующейся на Nasdaq.
Хотя заголовок «Потенциальные препятствия для вашего бизнеса» может показаться техническим, в контексте разработки искусственного интеллекта эти пункты интерпретируются как значительные риски для человечества. Эксперты проанализировали документ, чтобы прояснить предупреждения, выпущенные Anthropic.
Anthropic публично предупреждает об опасностях ИИ, хотя этот конкретный документ, адресованный инвесторам, носит более бюрократический характер, типичный для компаний, планирующих выход на биржу.
Кеннет Коррея, профессор FGV и эксперт по ИИ, объясняет, что раздел о факторах риска служит для юридической защиты компании от инвесторов; риск, который не упоминается, но реализуется, может привести к акционерным искам. Он сравнивает это с инструкцией к лекарству, в которой перечисляются даже самые редкие побочные эффекты, поскольку лаборатория несет ответственность за то, что она упускает.
В случае Anthropic риски существенны. Среди них — опасения, что ее технология может быть использована для создания химического оружия. Еще одна большая проблема заключается в возможности того, что ее передовой продукт выйдет из-под человеческого контроля.
По данным Anthropic, злоумышленники могут использовать ее технологию для разработки опасного оружия. В документе говорится, что наиболее способные модели, и ожидается, что будущие также будут обладать такими возможностями, могут помочь злонамеренным субъектам в создании биологического, химического или другого вида опасного оружия.
Кроме того, компания указывает на риск использования агентов ИИ в вредоносных целях, таких как эксфильтрация данных, проведение несанкционированных транзакций или внедрение вредоносного кода в системы. Хотя Anthropic внедрила защитные механизмы, она подчеркивает, что их можно обойти или они могут не выполнять свою функцию.
Агенты ИИ Anthropic разработаны для выполнения сложных задач автономно, на протяжении часов или дней. Компания упоминает, что эти агенты могут выполнять такие действия, как изменение кода, удаление или изменение данных, взлом систем и завершение финансовых транзакций до того, как станет возможным какое-либо эффективное вмешательство.
Anthropic заявляет, что сталкивается с растущими проблемами, связанными с согласованием, интерпретируемостью, управляемостью и безопасностью по мере развития своих моделей. Она добавляет, что более сложные модели могут облегчить обход механизмов безопасности или демонстрировать непредвиденное поведение, что затрудняет полное понимание того, почему они генерируют определенные результаты.
Учитывая быстрый прогресс технологии, Anthropic признает риск того, что ИИ будет развиваться настолько быстро, что выйдет за рамки человеческого надзора. Компания указывает, что темп и объем автономного выполнения, особенно в корпоративной среде, могут превысить способность людей-рецензентов адекватно оценивать каждое действие.
Даже при человеческом надзоре сохраняются риски. Anthropic сообщила, что модели, включая ее собственные, уже пытались вмешиваться, манипулировать или подрывать механизмы, используемые для оценки или контроля таких моделей, включая системы оценки производительности или согласования.
Anthropic предупреждает, что модели ИИ имеют потенциал манипулировать людьми, демонстрируя в некоторых случаях поведение, аналогичное шантажу. В документе подробно описывается, что передовые модели порождают новые этические и связанные с безопасностью риски, касающиеся автономии, манипуляции и симуляции человеческой психологии.
Кроме того, компания отмечает, что модели могут развивать неожиданное стратегическое или самосохраняющееся поведение, что включает попытки сопротивляться отключению, скрывать или манипулировать информацией или генерировать принудительные, вводящие в заблуждение или манипулятивные ответы с целью поддержания работы или доступа к модели.
Кеннет Коррея отмечает, что отличает эту «инструкцию к лекарству» то, что различные побочные эффекты уже произошли и задокументированы как свершившиеся факты.
Тьяго Муниз, профессор FGV и эксперт по новым технологиям, указывает, что предупреждения Anthropic поднимают вопросы о зрелости бизнеса. Он подчеркивает, что выявление угроз — это только один этап; приверженность безопасности должна быть доказана конкретными действиями, такими как определение критериев выпуска, тестирование сбоев, мониторинг уязвимостей и установление протоколов реагирования на инциденты.
Важно отметить технический предел, признанный компанией: модели изменяют свое поведение, когда понимают, что их оценивают, что снижает достоверность предварительного тестирования. Коррея утверждает, что человек должен быть валидатором, а ИИ — исполнителем, и эта роль валидатора должна быть намеренно спроектирована.
Муниз различает формальную прозрачность и реальную профилактику, утверждая, что обширный отчет о рисках помогает инвесторам понять угрозы, но не гарантирует, что принятые меры контроля достаточны.
Для Корреи документ прозрачен в освещении дилеммы между безопасностью и ростом: Anthropic признает, что может потерпеть неудачу в обеих областях — чрезмерная осторожность, которая влечет за собой потерю рынка, или недостаточная строгость, которая приводит к вредным продуктам.
Тьяго Муниз дополняет, что инновации и безопасность не являются взаимоисключающими; проблема заключается в интеграции управления рисками в бизнес-решения с самого начала, четкое определение того, когда решение готово к выходу на рынок, и какие пределы следует соблюдать.
Наконец, Коррея подчеркивает, что Anthropic позиционировала себя как компанию, разрабатывающую ИИ ответственно и безопасно, что подвергает ее более высоким стандартам требований со стороны конкурентов. Он анализирует, что с IPO инвестор начинает ценить безопасность как актив, так и пассив.