В прошлую пятницу (17-го) офис городского прокурора Сан-Франциско направил официальные уведомления как в Apple, так и в Google. Целью было потребовать удаления тринадцати приложений для замены лиц, связанных с созданием изображений искусственно сгенерированного обнажения без согласия изображенных людей.
Муниципальное действие направлено конкретно на инструменты, которые используют искусственный интеллект для изменения фотографий людей, в результате чего получается сексуализированный материал. По данным мэрии, эти цифровые платформы получают прибыль от таких услуг посредством платежей внутри самих приложений.
Эта инициатива возникла после расследований, которые показали, что приложения, изначально представленные как простые редакторы изображений, могут использоваться для создания порнографических дипфейков. Наиболее пострадавшими от такого контента являются женщины и девушки.
Письма, адресованные двум технологическим гигантам, были подписаны городским прокурором Сан-Франциско Дэвидом Чиу. Он подчеркнул, что создание интимных изображений без разрешения является незаконной и вредной практикой, требующей от Apple и Google предотвращения использования их цифровых экосистем для содействия злоупотреблениям.
Представитель города также потребовал, чтобы компании прекратили любые коммерческие отношения с разработчиками, ответственными за такие типы приложений. Кроме того, требование распространяется на платежные системы виртуальных магазинов, где компании получают часть доходов, полученных от этого программного обеспечения.
И Apple, и Google заявили, что имеют строгие правила против порнографии, домогательств и любого злоупотребляющего контента на своих платформах. Apple сообщила, что удалила три приложения, указанных мэрией, и уже начала процесс приостановки учетных записей вовлеченных разработчиков. Компания предупредила, что другие создатели также могут быть исключены, если они не исправят обнаруженные нарушения.
Со своей стороны, Google объявил об удалении сотен приложений, содержащих функции «обнажения» из-за нарушения их политик. Компания также сообщила о приостановке аналогичных инструментов и введении ограничений в поисковых запросах, связанных с этой услугой в магазине приложений.
Исследования, упомянутые в муниципальном расследовании, показали, что проблема не ограничивается только приложениями, явно помеченными как инструменты искусственного обнажения. Исследования обнаружили программы замены лиц, которые, хотя и представлялись как обычные функции редактирования, позволяли создавать сексуализированные изображения без эффективной защиты.
Обзор, упомянутый в тексте, выявил сотни приложений для замены лиц, доступных в магазинах Apple и Google. Значительная часть этих программ позволяла создавать коллажи с голыми изображениями, даже если они официально не рекламировались для этой цели.
Это распространение инструментов произошло параллельно с развитием систем генеративного искусственного интеллекта, что значительно снизило техническую сложность, необходимую для создания фальшивых изображений с высоким уровнем реализма. Эксперты, упомянутые в статье, отметили, что достаточно одной эталонной фотографии и нескольких команд для генерации такого контента.
Мэрия Сан-Франциско заявила, что продолжит оценку судебных исков против компаний, которые позволяют распространять эти инструменты. Заявленная цель органа — заставить платформы улучшить свои механизмы анализа до предоставления новых приложений.
Адам Моссери, руководитель Instagram, заявил, что контент, созданный искусственным интеллектом, не должен отображаться пользователям, которые не проявляют к нему интереса. Руководитель выступает за адаптацию алгоритма платформы для учета этого предпочтения, хотя и отвергает возможность простого блокирования всего контента ИИ в социальной сети.
С ростом материалов, созданных ИИ за последние годы, в настоящее время отсутствует простой механизм, позволяющий пользователям скрывать этот тип контента. Моссери объяснил в интервью подкасту Lenny Rachitsky, что цель Meta — улучшить способность идентифицировать видео и изображения, сгенерированные ИИ, чтобы собственные рекомендательные системы могли понимать уровень интереса пользователя.
Моссери ранее публично признавал, что лента Instagram перестала отражать реальные интересы пользователей из-за растущей мощи алгоритма. Это наблюдение возникло после расширения функции «Ваш алгоритм», которая показывает пользователям типы публикаций, которые технология считает релевантными, и предлагает возможность снизить видимость определенных тем, хотя это и не полностью предотвращает показ конкретного контента.
По словам Моссери, обнаружение контента ИИ становится все более сложным по мере развития языковых моделей. Поэтому он предложил, чтобы Instagram мог использовать менее категоричные ответы о происхождении медиа. Вместо жесткой категоризации того, был ли контент создан ИИ или нет, сеть могла бы указывать уровни уверенности, такие как «вероятно, да», «не уверены» или «определенно нет».
В настоящее время платформа имеет систему маркировки для использования генеративных инструментов, как и конкуренты, такие как YouTube и TikTok. Эти публикации могут отображать уведомление «Информация об ИИ» в ленте, которое уточняет, что контент «мог быть создан с помощью ИИ». Всплывающее окно разъясняет, что эта метка обычно относится к контенту, полностью сгенерированному ИИ, а не просто измененному с помощью ИИ.
Во время подкаста руководитель представил две основные идеи. Первая заключается в создании специального пространства для отделения контента, полностью сгенерированного ИИ — включая спам, мошеннические монтажи и другой «мусор ИИ» — от постов, в которых использовались творческие инструменты редактирования или ремикса контента.
Meta уже экспериментировала с подобными концепциями в приложении Meta AI, представляя ленты изображений, сгенерированных моделями компании, и даже формат Reels с синтетическими видео. Второе предложение, которое Моссери отстаивает с декабря прошлого года, — это внедрение сертификации для аутентичного контента. Аргумент заключается в том, что проще подтвердить происхождение реальной фотографии, чем доказать использование ИИ.
Крупные корпорации ИИ, разрабатывающие модели изображений и видео, такие как OpenAI, Google, Microsoft и сама Meta, используют цифровые сертификаты, такие как C2PA, и невидимые метки в контенте, такие как SynthID. Эти метки генерируются самими инструментами для помощи в идентификации. Помимо заявления, сделанного пользователем во время публикации, Instagram может считывать эту информацию, чтобы предупредить о возможном использовании ИИ. Однако эта практика еще не стандартизирована и ее можно обойти или удалить.
