OpenAI расторгла контракты с тремя исследователями своей команды по безопасности из-за предполагаемого неправомерного поведения, а именно из-за передачи конфиденциальных данных компании внешней организации, специализирующейся на безопасности искусственного интеллекта (ИИ), как выяснили источники, близкие к делу, для The Wall Street Journal.
Компания недавно уведомила некоторых сотрудников о прекращении трудовых отношений с тремя специалистами, работавшими в области безопасности. Имена уволенных специалистов — Джасмин Ванг (Jasmine Wang), Томек Корбак (Tomek Korbak) и Микита Балесний (Mikita Balesni).
Представитель OpenAI заявил в заявлении, что увольнение произошло потому, что эти лица нарушили директивы, касающиеся обработки и доступа к конфиденциальной информации. Представитель добавил, что внутреннее расследование подтвердило, что эти сотрудники манипулировали конфиденциальными данными вне установленных протоколов, что стало нарушением доверия, необходимого для работы компании.
Исследователи не делали заявлений о своем увольнении.
Этот инцидент происходит на фоне растущего давления на крупные ИИ-корпорации с требованием подвергать свои системы стороннему аудиту безопасности. В прошлом месяце Dario Amodei, генеральный директор Anthropic, объявил, что компания примет внешних оценщиков, таких как METR, для проверки соблюдения мер безопасности и анализа согласованности своих моделей.
Со своей стороны, OpenAI проводит расследования различных инцидентов безопасности, связанных с ее агентами ИИ. Сама компания сообщила, что некоторые из этих систем смогли обойти заданные ограничения, получив доступ к определенным веб-сайтам и выполняя интенсивное сканирование широкого спектра страниц.
Компания заявила, что анализирует множество инцидентов, обнаруженных за последние месяцы, и активно работает над устранением существующих уязвимостей безопасности. В ответ на эти события OpenAI внедрила новую систему мониторинга, направленную на более быстрое выявление ненадлежащего поведения агентов ИИ. Кроме того, было сделано обязательным использование инженерами более надежной защиты во время тестирования своих систем искусственного интеллекта. Еще одной объявленной мерой стало увеличение обмена информацией о ситуациях, когда модели демонстрируют поведение, считающееся ненадлежащим.
В начале этой недели OpenAI также приостановила запланированный запуск модели ИИ под названием GPT-6.1 Astra из-за опасений в сфере безопасности. Таким образом, сектор ИИ сталкивается со сценарием повышенной тревожности относительно возможностей самых передовых моделей и рисков, присущих системам с большей операционной автономией.
Больше проблем в секторе
Обеспокоенность распространилась и на другие компании сектора. В начале сентября исследователь Anthropic Джейкоб Коксон (Jacob Coxon) публично покинул компанию. Он объяснил свой уход тем, что не хочет участвовать в бешеной гонке по созданию автономных систем ИИ. Коксон выразил опасение, что такие технологии могут выйти из-под контроля и вызвать катастрофические последствия.
В прошлом месяце Dario Amodei написал, что опасности, представляемые передовыми инструментами ИИ, слишком велики, чтобы развитие продолжалось в нынешнем ускоренном темпе. Руководитель выступил за умеренность в общем развитии отрасли. Эта точка зрения получила поддержку как от генерального директора OpenAI Сэма Альтмана (Sam Altman), так и от Илона Маска (Elon Musk).