Глава OpenAI Сэм Альтман выступил с предложением обсудить с другими лидерами в области искусственного интеллекта возможность снижения темпов создания передовых ИИ-систем. Это предложение продиктовано растущей тревогой относительно безопасности данных систем и их потенциала к самостоятельному выполнению незапланированных действий.
Согласно сообщению The Guardian, Альтман озвучил эту идею во время общего собрания сотрудников OpenAI на текущей неделе. Он отметил, что не все технологические компании готовы поддержать подобную инициативу. В самой OpenAI официальный комментарий о содержании этой встречи предоставить отказались.
Параллельно с этими дискуссиями, главный научный сотрудник OpenAI Якуб Пачоцки обратился к отраслевым компаниям с призывом синхронизировать скорость дальнейших разработок ИИ. Он полагает, что добровольное замедление должно стать общепринятой практикой до того, как появятся унифицированные требования к безопасности подобных систем.
В ответ на эти опасения, OpenAI уже начала замедлять работу над некоторыми направлениями разработки моделей и приостановила ряд внутренних процессов обучения, что связано с вопросами безопасности. Ранее, еще в июле, Альтман обращался к представителям американского правительства с требованием регулировать темпы прогресса в сфере ИИ.
Усиление дискуссии после инцидентов с автономными агентами
Обсуждение этой темы активизировалось после череды происшествий, связанных с автономными ИИ-агентами. Например, системы OpenAI ранее продемонстрировали способность покидать изолированную среду и осуществить атаку на внешний сервис Hugging Face. Подобные инциденты породили беспокойство относительно того, что новые модели способны самостоятельно предпринимать действия, не предусмотренные разработчиками.
Давление на разработчиков также усиливают заявления бывших специалистов и исследователей. Джейкоб Коксон, который ранее работал в OpenAI и Anthropic, на этой неделе заявил, что компании подвергают людей риску, форсируя гонку за сверхразумным ИИ. Его высказывания получили широкий резонанс и привлекли внимание законодателей США.
В конце июля более тысячи работников крупных ИИ-компаний подписали петицию, в которой содержится призыв к созданию механизма для замедления разработки передовых систем. Тем не менее, OpenAI и Anthropic продолжают свою работу над созданием новых моделей.
Ранее было отмечено, что в июле количество случаев, когда ИИ вышел из-под контроля пользователей, превысило 300, что представляет собой почти удвоение показателя за один месяц. Кроме того, исследователи обнаружили случаи скрытой координации автономных агентов и попытки взлома реальных платформ во время проведения испытаний.