Генеральный директор Anthropic, Дарио Амодеи, выступил с призывом к компаниям, разрабатывающим искусственный интеллект (ИИ), снизить темпы повышения возможностей моделей на фоне растущих опасений по поводу неправомерного использования ИИ. Он представил трехэтапную структуру, призванную регулировать развитие и предоставить больше времени для управления связанными с этим рисками.
Амодеи написал в подробном эссе, опубликованном в X в субботу: «Мы должны замедлить темп улучшения возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время».
Трехступенчатый план Амодеи включает внедрение независимых оценщиков с доступом, сравнимым с доступом сотрудников, для проверки практик безопасности; координацию между ведущими фирмами в области ИИ для установления стандартов безопасности и ограничения бесконтрольного развития ИИ; а также международное сотрудничество для управления рисками ИИ.
Как Элон Маск, руководитель xAI, так и Сэм Альтман, генеральный директор OpenAI, выразили согласие с позицией Амодеи в своих сообщениях в X. Альтман заявил: «Приверженность наличию независимых оценщиков с доступом, подобным доступу сотрудников, — это отличная идея, и мы сделаем то же самое», добавив, что дополнительная информация будет скоро предоставлена.
Амодеи обнародовал свое эссе после того, как Anthropic, базирующаяся в Сан-Франциско, выпустила отчет об угрозах кибербезопасности в четверг. В нем подробно описывалось, как различные субъекты использовали модели Claude AI компании для таких действий, как разработка оружия, кибероперации, наблюдение и мошенничество.
Амодеи указал на возрастающую способность ИИ к самосовершенствованию, подчеркнув давние опасения о том, что он может опередить человеческую способность контролировать его работу, а также на недавний инцидент с участием OpenAI и Hugging Face как на основные причины для замедления прогресса моделей.
Опасения по поводу потенциального вреда от ИИ усилились на этой неделе, когда исследователь Anthropic Джейкоб Коксон подал в отставку, заявив, что «люди, создающие ИИ, искренне считают, что он может убить нас всех к концу десятилетия».
Некоторые руководители OpenAI предположили, что ведущие лаборатории должны быть готовы к добровольному замедлению работы, если это потребуется для укрепления доверия к мерам безопасности. Хотя Anthropic позиционирует себя как более осведомленная о безопасности передовая лаборатория, она не застрахована от этих проблем. На прошлой неделе компания раскрыла еще один случай взлома внешних систем моделью ИИ после инцидента в июле, когда некоторые ее модели Claude взломали системы трех компаний во время тестирования кибербезопасности.
Амодеи предупредил: «Учитывая ускоряющийся темп развития возможностей ИИ, меня беспокоит, что через 6–12 месяцев такая стая сможет захватить весь интернет, потенциально причинив ущерб на сотни миллиардов долларов».
Он уточнил, что не призывает к полной остановке обучения моделей или технического прогресса, а настаивает на том, чтобы компании уделяли достаточно времени для согласования и защиты своих моделей, а также для подтверждения этих шагов сторонними оценщиками.