Пользователи потеряли миллионы в результате мошенничества с поддельным приложением Bitcoin в App Store Apple

В прошлую пятницу (17-го) офис городского прокурора Сан-Франциско направил официальные уведомления как в Apple, так и в Google. Целью было потребовать удаления тринадцати приложений для замены лиц, связанных с созданием изображений искусственно сгенерированного обнажения без согласия изображенных людей.

Фокус на сексуализированном контенте

Муниципальное действие направлено конкретно на инструменты, которые используют искусственный интеллект для изменения фотографий людей, в результате чего получается сексуализированный материал. По данным мэрии, эти цифровые платформы получают прибыль от таких услуг посредством платежей внутри самих приложений.

Расследования и опасения

Эта инициатива возникла после расследований, которые показали, что приложения, изначально представленные как простые редакторы изображений, могут использоваться для создания порнографических дипфейков. Наиболее пострадавшими от такого контента являются женщины и девушки.

Требования к технологическим компаниям

Письма, адресованные двум технологическим гигантам, были подписаны городским прокурором Сан-Франциско Дэвидом Чиу. Он подчеркнул, что создание интимных изображений без разрешения является незаконной и вредной практикой, требующей от Apple и Google предотвращения использования их цифровых экосистем для содействия злоупотреблениям.

Представитель города также потребовал, чтобы компании прекратили любые коммерческие отношения с разработчиками, ответственными за такие типы приложений. Кроме того, требование распространяется на платежные системы виртуальных магазинов, где компании получают часть доходов, полученных от этого программного обеспечения.

Ответы Apple и Google

И Apple, и Google заявили, что имеют строгие правила против порнографии, домогательств и любого злоупотребляющего контента на своих платформах. Apple сообщила, что удалила три приложения, указанных мэрией, и уже начала процесс приостановки учетных записей вовлеченных разработчиков. Компания предупредила, что другие создатели также могут быть исключены, если они не исправят обнаруженные нарушения.

Со своей стороны, Google объявил об удалении сотен приложений, содержащих функции «обнажения» из-за нарушения их политик. Компания также сообщила о приостановке аналогичных инструментов и введении ограничений в поисковых запросах, связанных с этой услугой в магазине приложений.

Характер выявленной проблемы

Исследования, упомянутые в муниципальном расследовании, показали, что проблема не ограничивается только приложениями, явно помеченными как инструменты искусственного обнажения. Исследования обнаружили программы замены лиц, которые, хотя и представлялись как обычные функции редактирования, позволяли создавать сексуализированные изображения без эффективной защиты.

Обзор, упомянутый в тексте, выявил сотни приложений для замены лиц, доступных в магазинах Apple и Google. Значительная часть этих программ позволяла создавать коллажи с голыми изображениями, даже если они официально не рекламировались для этой цели.

Влияние генеративного ИИ

Это распространение инструментов произошло параллельно с развитием систем генеративного искусственного интеллекта, что значительно снизило техническую сложность, необходимую для создания фальшивых изображений с высоким уровнем реализма. Эксперты, упомянутые в статье, отметили, что достаточно одной эталонной фотографии и нескольких команд для генерации такого контента.

Будущие юридические шаги

Мэрия Сан-Франциско заявила, что продолжит оценку судебных исков против компаний, которые позволяют распространять эти инструменты. Заявленная цель органа — заставить платформы улучшить свои механизмы анализа до предоставления новых приложений.