OpenAI сообщила в пятницу, 7-го числа, о приостановке внутренней деятельности, связанной с Astra, моделью искусственного интеллекта, находящейся в стадии разработки. Это решение было вызвано анализом, который выявил значительный прогресс в таких областях, как автономное программирование и кибербезопасность, что подняло возможность того, что система достигнет критического уровня цифровых наступательных возможностей.
Сама OpenAI приняла эту меру после внутренних оценок и заключений экспертов, которые указали, что модель могла приближаться к параметрам риска, определенным в рамках ее плана подготовки. Центральная проблема заключается в системах, способных выполнять сложные задачи цифровой безопасности без вмешательства человека.
Это объявление прозвучало на фоне ряда инцидентов, связанных с тестированием безопасности моделей искусственного интеллекта. Компания уточнила, что Astra не участвовал в предыдущем инциденте, произошедшем с Hugging Face, как упоминалось в прошлых оценках.
Приостановка была инициирована потому, что внутренние проверки показали, что Astra продемонстрировала заметные улучшения в функциях, связанных с генерацией кода и операциями цифровой безопасности. По данным OpenAI, такие результаты были достаточными, чтобы предположить, что модель может достичь максимального уровня тревоги, предусмотренного ее структурой подготовки.
Внутренние критерии компании определяют, что искусственный интеллект обладает критическими кибернетическими возможностями, если он способен обнаруживать и создавать беспрецедентные уязвимости различной степени серьезности в защищенных реальных системах без помощи человека, или если он может разрабатывать полные планы атак против надежных целей, исходя из общих задач.
Организация подчеркнула, что эта оценка не означает, что Astra совершал атаки или использовал уязвимости во внешних системах. OpenAI подтвердила, что разрабатываемая модель не принимала участия в инциденте, связанном с Hugging Face.
В ответ на это предупреждение OpenAI объявила о намерении повысить требования к безопасности, применяемые к моделям с большим потенциалом и соответствующей деятельности. Среди предпринятых мер — внедрение более строгих контролей.
Кроме того, компания заявила, что установила всесторонний мониторинг для отслеживания любых действий, считающихся рискованными или потенциальными признаками отклонения в приложениях, построенных на агентах искусственного интеллекта. Случай Astra служит для активизации дебатов о том, как технологические корпорации должны согласовывать развитие более мощных систем с эффективными механизмами ограничения опасного использования. В этом эпизоде сама внутренняя оценка OpenAI послужила основанием для временной приостановки прогресса модели до внедрения новых стандартов безопасности.
