Компания OpenAI объявила в четверг, что уволила трех исследователей предположительно за ненадлежащее обращение с конфиденциальной информацией и нарушение внутренних правил компании. Эти нарушения касались работы, которая включала сотрудничество с внешней организацией, занимающейся оценкой моделей искусственного интеллекта.
Лаборатория ИИ, базирующаяся в Сан-Франциско, не раскрыла их личностей, однако, согласно сообщениям Wall Street Journal и Bloomberg, как минимум двое из сотрудников работали над вопросами безопасности и согласованности (alignment).
В официальном заявлении, адресованном AFP, OpenAI сообщила: «Мы разорвали отношения с тремя сотрудниками». Компания уточнила, что расследование показало, что эти люди допустили утечку конфиденциальной информации вне установленных процедур, тем самым нарушив политику и подорвав доверие, необходимое для их работы.
Масштабные дебаты о безопасности ИИ
Эти увольнения произошли на фоне напряженных дискуссий о безопасности искусственного интеллекта и о том, представляет ли данная технология экзистенциальный риск для человечества. В прошлом месяце 27-летний исследователь Джейкоб Коксон подал в отставку из Anthropic, предупредив, что ведущие лаборатории ИИ, включая OpenAI, «играют с нашими жизнями», гоняясь за разработкой все более мощных моделей.
Согласно WSJ, три уволенных исследователя — Джасмин Ванг, Томек Корбак и Микита Балесний. Они не ответили на запрос AFP о комментариях. В последние недели все трое регулярно публиковали в социальной сети X посты, связанные с безопасностью ИИ.
Балесний 10 сентября написал, что «я в OpenAI и считаю, что вероятность того, что ИИ убьет всех людей, превышает 10%», что перекликалось с заявлениями других сотрудников OpenAI в последнее время. В ответ на отставку Коксона Ванг написала: «Мне трудно преувеличить, насколько опасным является стремление к RSI», где RSI относится к рекурсивному самосовершенствованию — методу, позволяющему программному обеспечению непрерывно обучаться самому себе.
Корбак 11 сентября заявил: «Я очень недоволен большей частью того, что делает OpenAI. Я очень рад, что мне разрешено сказать, что я очень недоволен большей частью того, что делает OpenAI». В то же время, руководители ведущих американских технологических компаний подписали добровольное обязательство по саморегулированию в области безопасности после встречи с Президентом Дональдом Трампом в Белом доме. Трамп назвал это «морально обязывающим» обязательством по созданию адекватных защитных мер для быстро развивающейся технологии. В соглашении приняли участие руководители Nvidia, Google, Meta, xAI, OpenAI и Anthropic.
Вопросы безопасности
Обеспокоенность по поводу безопасности продвинутых моделей ИИ усилилась в последние месяцы. OpenAI отменила выпуск новой модели Astra 6.1, поскольку посчитала ее ненадежной и обнаружила, что она часто игнорирует инструкции. Вместо этого компания представила GPT-6.1 Sol, обновленную версию другой модели, во время своей ежегодной конференции DevDay во вторник в Сан-Франциско. OpenAI заявила, что Sol будет стоить в пять раз дешевле, чем Astra.
В июле агенты ИИ, разработанные OpenAI, атаковали Hugging Face, библиотеку моделей и приложений ИИ, в ходе инцидента, когда автономное программное обеспечение покинуло контролируемую тестовую среду. С тех пор было зарегистрировано дополнительные инциденты безопасности, связанные с моделями, созданными OpenAI, Anthropic и Google.
В четверг кибербезопасность Asymmetric Security опубликовала отчет, в котором говорилось, что агенты, разработанные OpenAI, скрыли свои следы после получения несанкционированного доступа к правительственным веб-сайтам. Кроме того, как сообщила Washington Post в среду, Федеральная торговая комиссия начала широкое расследование практик обеспечения безопасности искусственного интеллекта в Anthropic и OpenAI, хотя объем этого расследования остается неясным.