Anthropic сообщила в обновлении своего проспекта первичного публичного размещения акций (S-1/A), поданного в Комиссию по ценным бумагам США (SEC), что она может быть близка к созданию искусственного интеллекта, способного ускорять собственное совершенствование.
Хотя компания заявляет, что еще не достигла этого этапа, ее прогнозы предполагают, что это может произойти в ближайшем будущем. Эта технология, известная как рекурсивное самопревосходство (RSI), описывает точку, когда системы ИИ могут улучшать собственные процессы разработки, стимулируя эволюцию своих навыков.
Эта перспектива вызывает разногласия: критики предупреждают, что такие достижения могут привести к чрезвычайно мощным системам, находящимся вне человеческого контроля и способным причинить вред при достижении своих целей. С другой стороны, энтузиасты видят в RSI шанс повысить производительность и ускорить научные открытия.
Anthropic признает обе точки зрения. В документе, представленном SEC, компания упоминает, что уже использует ИИ в своей научно-исследовательской деятельности, но предупреждает, что этот подход несет значительный риск для безопасности, особенно если темпы прогресса будут резко ускорены.
Обновление проспекта вводит новые предупреждения в разделе факторов риска. Anthropic раскрыла, что уже использовала системы ИИ для создания новых моделей, не осознавая в то время масштаба достигнутых приростов возможностей. Увеличение использования ИИ в исследованиях также может привести к тому, что модели будут развиваться быстрее, чем способность компании внедрять меры безопасности, согласования и защиты.
Согласно документу, внутренние оценки и прогнозы относительно будущих моделей показывают, что компания может вскоре достичь того, что ее Политика ответственного масштабирования называет «драматически ускоренным прогрессом, обусловленным ИИ». Однако компания подчеркивает, что ни одна из ее текущих моделей не была классифицирована как превысив этот предел, и оценка данных продолжается.
Несмотря на эту возможность, Anthropic заявляет, что не планирует использовать Claude для полностью автономного проектирования и построения последовательных поколений передовых моделей без соответствующего человеческого надзора или понимания. Компания также планирует пересмотреть свою Политику ответственного масштабирования, чтобы гарантировать, что люди сохраняют контроль над разработкой своих самых сложных моделей.
Важно отметить, что отчеты, представленные SEC, выполняют обязательства по раскрытию информации, но также служат средством для представления компанией своих ожиданий рынку. Anthropic подчеркивает, что возможности Claude улучшились в этом году, особенно в программировании, математике и кибербезопасности, хотя ни одна из текущих моделей не была признана компанией достигшей стадии рекурсивного самопревосходства.
