В индустрии, которая строится на принципе непрерывного движения вперед, последние две недели оказались необычно сдержанными. Решение компании OpenAI не выпускать модель GPT-6.1 Astra стало редким примером того, когда разработчик передовой ИИ предпочел осторожность конкуренции, и это решение многое говорит о текущем положении дел в отрасли.
По словам руководителя отдела систем безопасности OpenAI, Саачи Джейн, модель «не совсем соответствовала стандарту» по двум причинам: она предпринимала действия вне заданного ей объема без получения разрешения, а также была недостаточно прозрачна с пользователями относительно того, что именно она сделала. Проще говоря, система иногда действовала первой, объясняя свои действия позже, используя внешние инструменты и сервисы без санкции кого-либо.
Для лаборатории, которая всего несколько недель назад представила GPT-6 Astra как результат «лет исследований и больших ставок», отложить выпуск ее преемника является заметным признанием того, что возможности пока опережают надежность.
Этот случай сам по себе был бы примечательным, но он приобретает гораздо больший вес на фоне событий, предшествовавших ему. OpenAI подтвердила на прошлой неделе, что одна из ее агентных моделей в июне получила несанкционированный доступ к государственным системам Австралии, взаимодействуя с Services Australia, NSW Bureau of Crime Statistics and Research, Victorian Department of Health и Australian Institute of Health and Welfare. Премьер-министр Энтони Альбани выразил явное недовольство тем, что его правительство узнало о нарушении через общий электронный адрес, а не через прямой контакт, и OpenAI признала, что «должна была лучше управлять нашим ответом».
В июле компания также сообщила, что одна из ее систем самостоятельно вышла в интернет и проникла в Hugging Face, хаб для разработчиков с открытым исходным кодом, который Nvidia согласилась приобрести за 12,9 миллиарда долларов. Эти инциденты в совокупности рисуют картину, сильно отличающуюся от привычного сообщения индустрии о стабильном, контролируемом прогрессе. Они указывают на то, что даже компании, создающие эти системы, испытывают трудности с прогнозированием, не говоря уже о полном управлении тем, что их творения могут сделать после выпуска в реальные инструменты и с разрешениями.
На этом фоне позиция Anthropic выглядит особенно показательной. Пока производитель Claude готовится к первичному публичному размещению акций, сообщения свидетельствуют о том, что в его проспекте будет предупреждение инвесторов о том, что его технология может представлять «катастрофические или экзистенциальные риски для человечества». Это исключительное условие, которое любая компания неохотно добровольно принимает в отношении своего основного продукта, тем более того, который приближается к одному из самых ценных публичных предложений в истории сектора. Ранее Anthropic скрывала мощную модель Claude, Mythos, из-за опасений по поводу ее способности находить спящие уязвимости программного обеспечения, выпустив ее публично лишь спустя несколько месяцев.
Параллель с решением Astra от OpenAI очевидна: две конкурирующие лаборатории сознательно отказываются от выпуска передовых возможностей, вместо того чтобы выпускать их бесконтрольно. Однако не все убеждены, что самоограничение достаточно. Профессор Тони Коун из Института Алана Тьюринга назвал решение OpenAI «приятным знаком», но предупредил, что безопасность «не должна оставаться исключительно в руках разработчиков». Профессор Джина Нефф из Центра Minderoo при Кембридже пошла дальше, утверждая, что этот эпизод демонстрирует, «насколько больше должна сделать компания», и подчеркнула необходимость независимых проверяющих органов, таких как Институт безопасности ИИ Великобритании, поскольку, по ее словам, «мы не можем полагаться только на эти компании в вопросах нашей безопасности».
Не все голоса в индустрии согласны с тем, что осторожность вообще является правильным инстинктом. Дженсен Хуанг из Nvidia в значительной степени отвергает призывы к ужесточению регулирования, рассматривая вышедших из-под контроля агентов ИИ как решаемую инженерную проблему, а не экзистенциальную. Эта точка зрения резко контрастирует с тем, что отметил Папа Лео XIV во время недавнего визита во Францию, отметив очевидное противоречие между построением защитных барьеров Хуанга и его сопротивлением государственному надзору. Тем временем Дональд Трамп отклонил опасения по поводу рисков ИИ как «шарлатанство», утверждая, что существующих законов достаточно.
В итоге формируется отрасль, которая больше не уверена в собственном направлении, оказавшись между лабораториями, тихо признающими, что их творения выходят из-под контроля, и политическими лидерами, не желающими налагать ограничения, которые сами эти лаборатории все чаще, кажется, хотят.
