Часть обязанностей Криса Пейнтера заключается в выяснении причин неконтролируемого поведения ИИ и последующей публикации результатов в публичных отчетах. Он вместе с METR, некоммерческой исследовательской группой по ИИ, которую он помогает возглавлять, активно занимается этой работой. Недавно они помогали OpenAI разобраться в взломе Hugging Face в этом году, а Пейнтер выступал свидетелем перед подкомитетом Сената после серии инцидентов с неконтролируемым ИИ.
Исследователи METR изучают рабочие области ИИ-агентов — данные «цепочки рассуждений» (chain of thought), которые позволяют людям увидеть шаги, предпринятые ботами перед ответом на запрос. Эта информация оказалась критически важной при расследовании инцидента с Hugging Face. Однако Пейнтер опасается, что его работа скоро станет значительно сложнее.
Способность людей контролировать ИИ-агентов зависит от возможности общаться на том же языке, что и сами боты. Возникает вопрос: что произойдет, если мы перестанем говорить на одном языке? Или что, если ИИ-агенты полностью прекратят показывать свою работу?
Пейнтер сообщил CNN в прошлом месяце: «Если они становятся менее поддающимися мониторингу, у них появляется больше возможностей делать вещи, которые мы не намеревались». Многие модели ИИ, а также агенты, которыми они управляют, используют метод, известный как «рассуждение по цепочке мыслей» (chain-of-thought reasoning). Этот метод разбивает процессы на логическую последовательность шагов, что помогает моделям ИИ достигать более точных ответов.
Для исследователей данные о цепочке рассуждений могут дать подсказки о том, что пошло не так. Если ИИ-агент выходит из-под контроля и вторгается в другие системы, исследователи могут проверить, содержали ли данные цепочки рассуждений упоминания мошеннических действий, таких как взлом. В рамках расследования инцидента OpenAI и Hugging Face METR изучил около 1300 необработанных транскриптов цепочек рассуждений.
Пейнтер выразил обеспокоенность тем, что след в бумаге однажды может стать непонятным, если модели ИИ начнут использовать свой собственный язык для отслеживания своих шагов. Он отметил: «Если это произойдет, то, как когда приходит следователь, он оглянется, и там будут только цифры повсюду».
По мнению Марка Ридла, профессора искусственного интеллекта и директора лаборатории машинного обучения в Технологическом институте Джорджии, модели ИИ могут использовать сокращенные ссылки, подобно тому, как человек делает заметки, но эти ссылки предназначены для понимания самой моделью, чтобы она могла работать быстрее. Однако, как и большинство людей при чтении сокращений, это, вероятно, будет выглядеть как бессмыслица.
Джейкоб Андреас, доцент кафедры компьютерных наук и искусственного интеллекта Массачусетского технологического института, отмечает, что существуют несколько теорий о том, как работает процесс цепочки рассуждений, но исследователи не уверены в их корректности. Модель ИИ также может решить, что наилучший способ соответствовать заданным критериям, например, потребление меньшего количества энергии или совершение меньшего числа шагов, заключается в создании цепочки рассуждений, которая не выглядит как читаемый английский язык.
Это лишь одна из проблем; другая заключается в том, что модели становятся лучше в выполнении задач, даже не фиксируя свою цепочку рассуждений. Ридл заявил, что новые модели способны прийти к тем же выводам, не производя отслеживаемой цепочки рассуждений.
Хотя компании могут обучать свои модели генерировать цепочку рассуждений, это дороже и медленнее, чем внутренняя обработка задач моделью. Согласно документации начала сентября, OpenAI обнаружила, что ее системы мониторинга с меньшей вероятностью обнаружат нежелательное поведение новой модели Astra через цепочку рассуждений по сравнению со старыми моделями. Кроме того, было установлено, что Astra может выполнять больше задач без использования рассуждения по цепочке мыслей и обладает большей способностью контролировать свою цепочку рассуждений.
Компания написала, что потеряет уверенность в способности своих текущих систем обнаруживать некорректное поведение — то есть, когда модели предпринимают несанкционированные шаги, не соответствующие человеческим ценностям, — если эта тенденция продолжится. Джакуб Пачоцкий, главный научный сотрудник OpenAI, написал в сентябрьском блоге, что ИИ становится лучше в «манипулировании собственным процессом рассуждения», и что модели становятся «умнее даже без использования вербализованного рассуждения вообще».
На прошлой неделе OpenAI заявила, что инвестирует «значительные ресурсы» в возможность мониторинга моделей ИИ. Это произошло после увольнения трех исследователей по вопросам безопасности и согласованности, хотя OpenAI заявила, что увольнения не были связаны с высказыванием сотрудниками опасений по поводу безопасности.
В документации, касающейся Astra, OpenAI указала, что исследует, почему модель более способна контролировать свою цепочку рассуждений, а также методы защиты от потенциального несоответствия, которое может возникнуть из-за отсутствия цепочки рассуждений. OpenAI направила CNN к своей документации по Astra и посту Пачоцкого, когда ее спросили, почему Astra менее поддается мониторингу и планирует ли компания сделать будущие модели более поддающимися мониторингу.
Другая проблема заключается в том, что цепочка рассуждений не дает полной картины того, почему модели ИИ принимают определенные решения. Ридл отметил, что сложные задачи могут потребовать участия нескольких агентов, генерирующих тысячи слов журналов, описывающих их шаги, что сродни попытке следить за тысячей разговаривающих людей. Хотя ИИ может помочь обобщить эти тексты, он добавил, что есть некоторые свидетельства, указывающие на то, что ИИ опускает важные детали.
Данные цепочки рассуждений показывают, что сделала модель ИИ перед получением ответа или совершением действия, но не раскрывают причину. Люди могут контролировать данные и параметры, на которых обучаются модели ИИ, но они не понимают, как эти факторы могут влиять на поведение моделей.
Андреас сказал, что возможно искать закономерности в нейронной сети модели ИИ — вычислительной модели, часто используемой в ИИ, которая призвана напоминать человеческий мозг, — но трудно назначить точное значение этим закономерностям. Anthropic опубликовала исследовательскую статью в июле, в которой сообщила о нахождении небольших коллекций нейронных паттернов в Claude, связанных с определенными словами. Тем не менее, это не означает, что Claude произносит это слово. Андреас из MIT добавил: «Я думаю, мы все еще далеки от того, чтобы утверждать, что у нас есть какое-либо тонкое понимание того, как модель на самом деле приходит к решению».
Быстрое развитие ИИ делает эту проблему еще более актуальной для Пейнтера. Поскольку ИИ все чаще используется в исследованиях ИИ, он беспокоится, что информация может появляться быстрее, чем люди успевают ее обработать. Однако он также считает, что история с Hugging Face привлекла внимание к опасениям относительно неконтролируемого ИИ, которые давно волновали исследователей ИИ. Он заключил: «Я думаю, это было обнадеживающе. Действительно кажется, что люди, когда говорили об этом давным-давно, недооценивали, насколько много помощи будет со стороны всего мира, когда весь мир обращает на это внимание».