Anthropic сообщила, что заблокировала ученых, которые использовали ее модели искусственного интеллекта в исследованиях, которые могли бы способствовать разработке биологического оружия. Хотя компания не смогла определить, были ли проекты добросовестными или злонамеренными, решение было принято о прекращении работ из-за сопряженных рисков.
Один из заметных инцидентов связан с исследователем, который запросил помощь в модификации вируса чикунгунья с целью сделать его более агрессивным. Anthropic обнаружила, что это исследование проводилось в военном институте, что усилило опасения по поводу потенциального использования результатов.
Основная проблема для Anthropic заключается в способности отличать законное научное исследование от возможной попытки причинить вред. Хотя биологические исследования могут способствовать медицинскому прогрессу, такому как разработка вакцин, аналогичные знания также могут быть использованы для усиления опасности инфекционных агентов.
Джейкоб Кляйн, ответственный за анализ угроз в Anthropic, прокомментировал The New York Times, что ситуация крайне сложна, поскольку это не очевидный сценарий создания биологического оружия.
Из-за этой неопределенности компания выбрала осторожную позицию. Исследователи также пытались обойти механизмы контроля, разработанные для ограничения доступа пользователей из определенных регионов, и пытались замаскировать цель своих исследований, чтобы избежать мер безопасности. Связанные учетные записи были приостановлены.
Основные моменты, выявленные компанией
Среди наиболее важных аспектов, указанных компанией, выделяется случай в мае, когда ученый попросил Claude помочь составить заявку на финансирование для изучения вируса чикунгунья, передаваемого комарами и известного тем, что вызывает сильную боль и другие симптомы в течение нескольких месяцев.
План проекта заключался во введении генетических изменений в вирус для повышения его вирулентности при последовательных инфекциях у живых животных. Этот тип исследования, называемый приобретением функции, имеет законные применения, включая создание вакцин, но также может привести к появлению более опасных вариантов вируса.
Тот факт, что работа планировалась в военном исследовательском центре, существенно повлиял на оценку Anthropic. Кляйн заявил, что, хотя они и не знали, будет ли исследование преобразовано в оружие, участие военного учреждения в исследованиях по приобретению функции вызывало беспокойство.
Оценки, проведенные в предыдущем году, показали, что более старые модели Anthropic еще не могли оказывать существенной поддержки в опасных биологических исследованиях. Однако современные системы компании лучше приспособлены для проведения сложных научных исследований, что побудило к внедрению более строгих правил безопасности.
Читайте также:
Сьюзан Монарес, микробиолог и эксперт по общественному здравоохранению, подчеркнула, что эти случаи предоставляют конкретные доказательства тайных усилий по использованию ИИ с целью увеличения шансов на создание биологических агентов, способных нанести значительный ущерб.
Она также подчеркнула, что те же технологические возможности могут ускорить медицинские открытия. Главная задача состоит в том, чтобы определить, когда исследование, которое кажется правильным, на самом деле скрывает вредоносное намерение.
Anthropic также сообщила о других ненадлежащих использованиях Claude, включая наблюдение, распространение пропаганды и разработку обычного оружия. Однако биологические случаи считаются наиболее тревожными из-за сложности отделения честного научного исследования от подготовки к нанесению ущерба.
Компания решила заблокировать выявленные случаи, даже не получив доказательств того, что исследователи намеревались производить оружие. Этот эпизод иллюстрирует, как более сложные модели ИИ затрудняют оценку скрытых рисков, стоящих за исследованиями, которые на первый взгляд кажутся законными.