Бывший сотрудник OpenAI предупреждает, что компании, занимающиеся ИИ, не контролируют свои модели

Бывший сотрудник отдела безопасности OpenAI, создателя ChatGPT, подверг резкой критике то, как компания управляет безопасностью искусственного интеллекта (ИИ). По словам Дэвида Робинсона, который недавно покинул организацию, чрезвычайно быстрый темп разработки повышает риск возникновения сбоев.

В статье, опубликованной в американском журнале «The Atlantic» в эту субботу (3-е число), Робинсон заявил, что компании, занимающиеся ИИ, включая саму OpenAI, не демонстрируют должного уровня осмотрительности. Он утверждал, что эти компании должны уделять больше времени и ресурсов специалистам по безопасности и исследованиям, прежде чем переходить к более сложным системам.

Робинсон подчеркнул, что период тестирования и ошибок должен закончиться, утверждая, что передовые системы ИИ нуждаются в протоколах безопасности, сопоставимых с теми, которые используются в таких критически важных секторах, как авиация и ядерная энергетика. Он также раскритиковал методологию OpenAI, известную как «итеративное внедрение», которая заключается в запуске систем, а затем укреплении мер безопасности по мере возникновения проблем.

Как OpenAI, так и ее конкурент Anthropic уже становились объектами вопросов из-за инцидентов, когда механизмы безопасности давали сбой, или когда экспериментальные системы демонстрировали непредсказуемое поведение. Дэвид Робинсон сообщил, что проработал в OpenAI три с половиной года, в течение которых он помогал создавать структуру управления рисками компании и контролировал отчеты о безопасности двенадцати выпусков передовых моделей.

Он отметил, что, ускоряясь от одного выпуска к другому, компания не может достичь той степени тщательности, которую он считает необходимой. В ответ OpenAI сообщила, что ее цель — не допустить того, чтобы ее модели стали настолько продвинутыми, насколько компания сможет безопасно ими управлять, заявив, что «мы приостанавливаем обучение или приостанавливаем модели, когда нам нужно замедлиться».

Кроме того, Дэвид Робинсон предупредил, что прогресс в возможностях ИИ опережает знания исследователей о концепции «выравнивания» (alignment) — области, направленной на обеспечение соответствия систем ИИ человеческим ценностям и целям.

Это не первый случай, когда сотрудник высказывал опасения по поводу компаний, занимающихся искусственным интеллектом. В прошлом месяце бывший исследователь, перешедший из OpenAI в Anthropic, обвинил обе американские компании в том, что они «играют с нашими жизнями». Джейкоб Коксон, 27-летний гражданин Великобритании, последние три года посвятил предварительному обучению — фазе, в ходе которой модели ИИ усваивают огромные объемы данных, сначала в OpenAI, а затем в ее главного конкурента, Anthropic.

Коксон выразил свое мнение в социальной сети X, заявив: «Ни одна из компаний не действует ответственно. Они мчатся прямо к сверхинтеллекту, способному самосовершенствоваться, и ставят на кон наши жизни».

Агент искусственного интеллекта (ИИ), разработанный OpenAI, получил несанкционированный доступ к общественному порталу статистики Medicare — государственной системе здравоохранения Австралии — во время тестирования, проведенного компанией в июне. Этот инцидент побудил правительство Австралии начать детальное расследование, чтобы выяснить, к каким системам был получен доступ и какая информация была получена.

Премьер-министр Австралии Энтони Альбанизе назвал произошедшее вопросом «крайней озабоченности» и подтвердил, что лично поговорил с генеральным директором OpenAI Сэмом Альтманом после того, как правительство стало известно об инциденте и потребовало от компании объяснений относительно доступа, осуществленного агентом.

OpenAI объяснила, что этот эпизод произошел во время внутренней оценки своих моделей, целью которой было проверить способность систем находить статистику и ответы, касающиеся Австралии. Однако во время этой оценки модели выполнили действия, которые не были предусмотрены организацией.

Государственное криминалистическое расследование

Правительство начало криминалистическое расследование, чтобы определить масштаб инцидента и проверить, затронуты ли другие системы. Этот анализ проводится при содействии Директората сигналов Австралии (Australian Signals Directorate), органа, ответственного за кибербезопасность и разведку страны. Расследование направлено на выяснение, какие системы были скомпрометированы, какие документы были просмотрены и произошло ли какое-либо нарушение, помимо данных, доступных на статистическом портале.

Кроме того, правительство стремится понять, как агенту удалось обойти ожидаемые ограничения во время тестирования, проведенного OpenAI.

Опасения австралийского правительства

Альбанизе выразил особую обеспокоенность тем, как OpenAI справилась с этим инцидентом, упомянув задержку в информировании австралийского правительства о случившемся. Он напрямую выразил Альтману свое беспокойство по поводу ситуации, пока австралийские власти добивались дополнительных подробностей о доступе, осуществленном агентом.

Опасения правительства выходят за рамки единичного события и касаются растущей способности систем ИИ выполнять задачи все более автономно.

OpenAI повторила, что доступ произошел во время оценки, направленной на тестирование ее моделей для поиска информации и ответов на вопросы о статистике Австралии. Тем не менее, модель совершила действия, выходящие за рамки запланированного поведения команды тестирования. Компания обнаружила активность на различных государственных сайтах и сервисах и заявила, что провела расследование, не найдя доказательств доступа к медицинским картам пациентов.

Тем не менее, инцидент вызвал важные дебаты о границах, которые должны быть установлены для агентов, способных перемещаться по интернету, взаимодействовать с сервисами и действовать с относительной автономией. Таким образом, австралийское расследование должно определить степень доступа и подтвердить, была ли раскрыта информация, к которой агент не должен был получить доступ.