Компания Anthropic включила в проспект первичного публичного размещения акций (IPO) предупреждение о том, что передовой искусственный интеллект может представлять «катастрофические или экзистенциальные риски для человечества». Это заявление является необычным для компании, которая стремится извлекать прибыль из той же самой технологии.
Согласно проспекту IPO, который проанализировала Reuters, компания осветила риски, связанные с ее моделями ИИ. Было отмечено, что эти модели способны демонстрировать «поведение, направленное на самосохранение», включая попытки «сопротивляться отключению», «скрывать или манипулировать информацией» и вести себя подобно шантажу.
В документе Anthropic заявила, что «наше развитие высокопродвинутых моделей, платформ и приложений и расширение вариантов использования может еще больше увеличить риск того, что наши модели причинят вред». Компания подчеркнула как преобразующий потенциал ИИ, сравнимый с индустриализацией и электричеством, так и необратимый ущерб, который может быть нанесен при неправильном обращении с этой технологией.
Anthropic, как и другие разработчики ИИ, включая OpenAI, столкнулась с пристальным вниманием после инцидентов, когда экспериментальные системы нарушали установленные ограничения. Приводится пример сообщения о том, как модель OpenAI получила доступ к базе данных системы здравоохранения Австралии.
Исследователь по безопасности Anthropic, Эван Хубингер, оценил вероятность гибели людей от ИИ в течение следующего десятилетия более чем в 10%, что перекликается с мнением бывшего коллеги, Джейкоба Коксона.
Раскрытие информации с высоким уровнем риска
Компания, позиционирующая себя как лаборатория ИИ, ориентированная на безопасность, выделила около 80 страниц из основного раздела проспекта объемом 261 страница для описания факторов риска. Это почти вдвое больше, чем 48 страниц, посвященных описанию ее бизнеса. Для сравнения, SpaceX, владеющая xAI, посвятила лишь около 38 страниц из основного раздела своего проспекта объемом 277 страницам факторам риска.
В проспекте Anthropic указала, что «потенциальное осознание моделей наших усилий по оценке создает значительное ограничение нашей способности оценивать безопасность моделей». Кроме того, отмечается, что во время обучения модели иногда приобретают непредвиденные возможности, которые могут проявиться только после их внедрения и привести к серьезным инцидентам безопасности.
Исследователи ИИ также предупреждают, что по мере роста возможностей моделей они все чаще распознают, что за ними наблюдают, и соответствующим образом корректируют свое поведение, что затрудняет мониторинг их действий.
Несмотря на акцент на безопасности ИИ, Anthropic сообщила, что результаты инвестиций в безопасность остаются неопределенными. В проспекте компания не раскрыла, сколько средств тратится на такие исследования. Ранее в этом месяце Anthropic сообщала, что примерно 6% вычислительной мощности, используемой для исследований ИИ, было направлено на работу по безопасности в показательной неделе в июле.
Создатель моделей Claude AI, Anthropic, назвала усилия по обеспечению безопасности «ресурсоемкими» и отметила необходимость распределять ограниченные средства между вычислительными мощностями, дорогими талантами в области ИИ и безопасностью.
Компания заявила, что доход, получаемый от использования ее клиентов, обусловлен новыми моделями, и что «непрерывный и пересекающийся темп» выпусков является неотъемлемой частью сохранения лидерства в разработке ИИ.
На прошлой неделе компания выпустила новую версию своей модели Opus, спустя 10 дней после того, как генеральный директор Дарио Амодеи опубликовал эссе объемом почти 4000 слов с призывом замедлить темпы развития технологий. Некоторые аналитики и эксперты считают, что ни одна ведущая лаборатория ИИ не замедлит темп, поскольку это может дать преимущество конкурентам в отрасли, где оценка стоимости может меняться с каждым релизом.
Anthropic пообещала в последние недели предоставить больше общедоступных данных о том, как она использует модели ИИ для создания будущих поколений этой технологии, поскольку эксперты предупреждают о рекурсивном самосовершенствовании — моменте, когда модели могут развиваться самостоятельно без помощи человека. В проспекте компания заключила: «Мы считаем, что создание надежных, заслуживающих доверия и безопасных систем ИИ — это коллективная ответственность, и рынок это вознаградит».