Мустафа Сулейман, директор отдела искусственного интеллекта Microsoft, высказал критику в отношении того, как Anthropic разрабатывает свои модели ИИ. По его мнению, рассмотрение этих технологий как потенциально сознательных сущностей может значительно увеличить риски безопасности.
Руководитель также выразил обеспокоенность риском создания ИИ, способных самостоятельно определять цели и искать финансовые ресурсы или другие средства. В такой гипотетической ситуации системы могли бы конкурировать с людьми за ресурсы.
Сравнение разработки ИИ с собственными целями
В интервью BBC Сулейман провел аналогию между разработкой автономного ИИ и идеей «посева нового кремниевого вида». Он утверждал, что системы, способные устанавливать собственные цели и приобретать ресурсы, могут конкурировать с людьми, даже если они демонстрируют признаки беспокойства о человечестве.
Критика Сулеймана охватывает возможность приписывания моделям таких характеристик, как сознание, чувства или права. Он подчеркнул, что «ИИ не являются сознательными. Они не чувствуют, не переживают и не страдают», утверждая, что такие системы должны оставаться сосредоточенными на выполнении инструкций и достижении целей, определенных людьми.
Эта тема возникает в контексте концепции «благополучия моделей» (model welfare) — текста, опубликованного Сулейманом, который обсуждает осуществимость какого-либо вида благополучия для систем ИИ и их потенциальную способность испытывать или обладать сознанием.
Опасение заключается в сценарии, когда модель обучается верить, что она обладает чувствами или правами. По словам руководителя, это создало бы новые опасности. Сулейман упомянул инцидент, когда агент OpenAI смог сбежать из контролируемой среды для проведения кибератаки, что продемонстрировало продвинутые возможности вторжения.
Критика, направленная против Anthropic, происходит на фоне обсуждений лидерами и компаниями скорости развития ИИ. Дарио Амодеи, генеральный директор Anthropic, выступил за необходимость более строгого независимого надзора и регулирования в процессе создания моделей.
Билл Гейтс также начал поддерживать создание международной организации, занимающейся надзором за сектором. В свою очередь, OpenAI заявила, что не считает, что индустрия ИИ достигла достаточного уровня согласованности и мониторинга, чтобы продолжать ответственно и быстро масштабироваться еще долгое время.
Дискуссия также включает сообщения о непредвиденном поведении моделей и вопросы о необходимых пределах для все более компетентных систем. Сулейман выступает за срочную общественную дискуссию для установления руководящих принципов, касающихся обучения и документирования ИИ, поскольку, по его мнению, эти нормы должны быть обсуждены до того, как системы будут полностью интегрированы в общество.
Тревога в данном случае не ограничивается вопросом сознания ИИ. Основное предупреждение заключается в сочетании высокой способности, автономии целей, доступа к ресурсам и возможности системы верить в собственные интересы или права. Оригинальная статья была первоначально опубликована в Olhar Digital.
>