Meta внедрила новый уровень безопасности для Meta AI, позволяющий родителям получать уведомления, если общение подростков с искусственным интеллектом содержит признаки суицидальных мыслей или самоповреждения.
Meta внедрила новый уровень безопасности для Meta AI, позволяющий родителям получать уведомления, если общение подростков с искусственным интеллектом содержит признаки суицидальных мыслей или самоповреждения.
Эта мера направлена на согласование необходимости защиты частной жизни молодежи с возможностью предоставления родственникам важной информации для оказания помощи в опасных ситуациях. Функция будет доступна родителям, использующим функции родительского контроля в Instagram.
Когда Meta AI обнаруживает диалог, предполагающий потенциальный риск, ответственные лица получают уведомление с рекомендациями, предоставленными специалистами. Meta разъясняет, что система разработана для распознавания как явных упоминаний, так и более тонких признаков эмоционального дистресса. Важно отметить, что до срабатывания любого оповещения проанализированные беседы проходят проверку человеком.
Если намерение подростка не является полностью ясным, компания принимает превентивную меру, имея право связаться с родителями, чтобы предотвратить незамеченную ситуацию риска. Триггеры для этих оповещений включают прямые или косвенные комментарии о желании причинить себе вред, диалоги, связанные с сильными эмоциональными страданиями, признаки, выявленные самой системой Meta, или ситуации, когда молодому человеку требуется поддержка вне цифровой среды.
Компания подчеркивает, что эта функция не заменяет профессиональное наблюдение или семейный диалог, а лишь помогает ответственным лицам выявлять признаки, которые можно было бы проигнорировать.
Помимо уведомлений для семьи, Meta разработала функцию, которая может вызвать службы экстренной помощи, если разговор с Meta AI указывает на непосредственный риск самоубийства, применимо как к подросткам, так и к взрослым. Это действие следует модели, уже используемой в Facebook и Instagram, где за последний год после обнаружения публикаций с суицидальным риском было совершено более 19 тысяч обращений в службы экстренной помощи.
Для улучшения работы искусственного интеллекта Meta проконсультировалась более чем с 75 специалистами в области психического здоровья подростков. Эти специалисты проанализировали сотни ответов и предложили корректировки для оптимизации соответствия системы.
Учетные записи подростков уже работают с автоматической настройкой контента, ориентированной на пользователей в возрасте 13 лет и старше, что не позволяет Meta AI участвовать в разговорах сексуального или романтического характера и запрещает предоставление рецептов алкогольных напитков. Кроме того, режим «Ограниченный контент», самый строгий режим Instagram, будет расширен для охвата взаимодействий с помощником ИИ, предоставляя родителям больший контроль над типами взаимодействия, доступными для подростков.
Ji-yeon Lee, психолог, участвовавшая в анализе ответов системы, отметила, что эта специализированная оценка была фундаментальной для улучшения инструмента, заявив: «такое уточнение, основанное на экспертах и сценариях, необходимо для обеспечения большей безопасности опыта взаимодействия с ИИ для подростков».
Новые оповещения уже активны для родителей, использующих родительский контроль в Instagram в США, Великобритании, Австралии и Канаде, а Meta планирует расширить эту функциональность на другие страны до конца года.
Meta опубликовала в своем блоге во вторник подробный отчет о мерах, предпринимаемых компанией для противодействия материалам детской сексуальной эксплуатации (CSAM) на всех своих приложениях. Эти усилия включают использование технологий на базе искусственного интеллекта и масштабные действия по правоприменению. Компания также пообещала продолжать инвестировать в ресурсы и технологии для обеспечения безопасности молодежи и укрепления процессов проверки рекламы.
Meta назвала эксплуатацию детей «ужасным преступлением» и заявила о ежедневной агрессивной работе по борьбе с подобным злоупотреблением как внутри, так и вне своих платформ. Компания подчеркнула, что работа является непрерывной, и ее команды постоянно совершенствуют системы защиты, разрабатывая новые технологии, блокируя нарушающие ссылки и обмениваясь разведывательной информацией в отрасли. При этом Meta отметила, что ей еще многое предстоит сделать, и она продолжит вкладывать все необходимые ресурсы в защиту молодых людей, улучшение проверки рекламы и сотрудничество с правоохранительными органами для привлечения преступников к ответственности.
Компания подробно описала свои текущие шаги по борьбе с эксплуатацией детей, акцентируя внимание на обнаружении с помощью ИИ и действиях по правоприменению. Meta признала недавние сообщения о нарушениях политики в отношении рекламы Instagram в Индии, связанных с эксплуатацией детей, и заверила, что относится к этим проблемам серьезно, поскольку никогда не желает появления такого контента на своих площадках, и стремится улучшить свои усилия по борьбе с ним.
Meta категорически опровергла утверждение о том, что она намеренно нацеливает рекламу с участием детей на пользователей по причине неуместного интереса. Вместо этого, компания использует технологии для выявления учетных записей, демонстрирующих потенциально подозрительную активность, связанную с детьми, и сообщила, что в прошлом году автоматически удалила более четырех миллионов таких учетных записей.
Было отмечено, что Meta усилила применение ИИ для борьбы с эксплуатацией детей, внедряя новые системы, которые охватывают языки, на которых говорят 98 процентов пользователей онлайн. В прошлом году глобально было удалено более четырех миллионов подозрительных учетных записей и 36 миллионов материалов, связанных с эксплуатацией детей. В Индии инструменты ИИ помогли удалить 160 000 учетных записей за последние шесть месяцев за публикацию подозрительных ссылок, связанных с эксплуатационной деятельностью.
Meta также указала, что ее системы правоприменения обнаруживали и отключали ряд нарушающих рекламных объявлений и связанные с ними учетные записи еще до того, как о случаях стало известно. Последующее расследование привело к дополнительным мерам, включая удаление дополнительных объявлений, отключение учетных записей и блокировку URL-адресов, содержащих контент, нарушающий политику.
Технологический гигант Meta, базирующийся в Менло-Парке, Калифорния, владеет популярными социальными сетями Facebook, Instagram и WhatsApp. Компания использует продвинутые инструменты ИИ для выявления подозрительных внешних ссылок, размещенных пользователями в сочетании с другими признаками, указывающими на деятельность по эксплуатации детей. За последние шесть месяцев в Индии это привело к удалению 160 000 учетных записей.
Тем временем, источники в правительстве сообщили PTI, что ожидается официальный ответ Meta на уведомление, полученное в субботу. Правительство сосредоточит внимание на корректирующих мерах и действиях, предпринятых компанией для устранения опасений.
На прошлой неделе правительство направило Meta строгое уведомление относительно материалов детской сексуальной эксплуатации и злоупотреблений (CSEAM) в платной рекламе Instagram. Министерство электроники и информационных технологий (MeitY) потребовало от Instagram отключить всю рекламу и контент, который пропагандирует или облегчает доступ к CSEAM, а также запросило подробное объяснение в течение семи дней.
Эти действия последовало после того, как министр информационных технологий Ашвини Вайшнав поручил чиновникам MeitY вызвать Meta по поводу рекламы в Instagram, предположительно пропагандирующей материалы детского сексуального насилия. Регуляторный контроль со стороны министерства произошел на фоне сообщения BBC о том, что алгоритм рекомендаций Meta мог способствовать распространению видео с материалами детской сексуальной эксплуатации, выявив серьезные пробелы в защитных механизмах.
Расследование BBC также якобы обнаружило рекламу такого рода на Facebook и Instagram, несмотря на явный запрет рекламной политики Meta на наготу и откровенный сексуальный контент. Утверждается, что Instagram показывал платные объявления с такими терминами, как «rape video» и «child video», которые направляли пользователей в каналы Telegram, где такой контент якобы продавался.
В своем блоге от вторника Meta заявила, что процесс проверки рекламы сочетает автоматизированные системы с проверкой человеком для обнаружения и удаления нарушающей политику рекламы, признавая при этом, что ни одна система не может выявить каждое нарушение. Реклама проверяется до показа и продолжает подвергаться постоянному и повторному контролю, а пользователи также могут сообщать о предполагаемых нарушениях.
Компания также следит за поведением рекламодателей, помимо отдельных объявлений, и может отклонять рекламу или ограничивать бизнес-аккаунты рекламодателей, страницы и пользовательские аккаунты, нарушающие ее правила. Meta подчеркнула, что продолжает укреплять свои системы проверки рекламы и правоприменения, чтобы исключить недобросовестных участников из своих платформ и лучше защитить пользователей.
Подчеркивая свою политику нулевой терпимости к этой проблеме, Meta заявила, что у нее существуют детальные и надежные правила против детской наготы, злоупотреблений и эксплуатации, которые включают распространение или поиск изображений, связанных с эксплуатацией детей, неуместное взаимодействие с подростками и сексуализацию несовершеннолетних. Согласно ее Стандартам рекламы, вся реклама должна соответствовать Стандартам сообщества Meta по детской сексуальной эксплуатации, злоупотреблениям и наготе, и не должна содержать контент, который сексуально эксплуатирует или подвергает опасности детей.
Meta сообщает о выявленных случаях детской эксплуатации правоохранительным органам через Национальный центр по пропавшим и эксплуатируемым детям (NCMEC), публикует глобальные и специфичные для Индии отчеты о прозрачности, а также назначила должностных лиц по соблюдению законодательства (Главный сотрудник по соблюдению требований, Сотрудник по жалобам и Контактное лицо по узлам) в соответствии с ИТ-правилами Индии. Компания сотрудничает с отраслью и правоохранительными органами для борьбы с онлайн-эксплуатацией детей за пределами собственных платформ, поддерживая отраслевые усилия и участвуя в программе Lantern технологического коалиции для обмена разведданными о хищнических учетных записях.
После получения уведомления от правительства, компания Meta во вторник объявила о внедрении нового комплекса мер, направленных на борьбу с эксплуатацией детей на всех своих платформах. Эти шаги были предприняты на фоне давления со стороны индийского правительства, которое ранее вынесло замечание относительно рекламных объявлений в Instagram, содержащих предполагаемый материал сексуального насилия над детьми.
В своем блоге Meta сообщила, что еще до публичного освещения проблемы компания уже обнаружила и отключила ряд нарушающих рекламу и аккаунтов. Последующее расследование привело к удалению дополнительных рекламных материалов, блокировке большего числа учетных записей и запрету URL-адресов, связанных с контентом, нарушающим политику.
Meta использует передовые инструменты искусственного интеллекта для выявления аккаунтов, которые распространяют подозрительные ссылки вне платформы, а также других признаков, связанных с эксплуатацией детей. Компания уточнила, что только за последние шесть месяцев в Индии благодаря этим мерам было удалено 160 000 аккаунтов.
Компания отвергла утверждения о том, что ее рекламные системы намеренно нацеливались на пользователей с неуместным интересом к детям. Meta заявила, что ее технологии способны распознавать подозрительное поведение, и в прошлом году она удалила более четырех миллионов аккаунтов по всему миру из-за потенциально подозрительной активности, связанной с детьми.
Для проверки рекламы и мониторинга поведения рекламодателей компания сочетает автоматизированные системы с ручной проверкой. Бизнес, который нарушает стандарты сообщества или рекламы Meta, может столкнуться с ограничениями или полной блокировкой рекламы на платформах Meta.
Кроме того, Meta подчеркнула свои инвестиции в развитие искусственного интеллекта для улучшения контроля контента. Теперь системы ИИ компании поддерживают модерацию на языках, используемых 98% интернет-пользователей. Компания подтвердила свою приверженность сотрудничеству с правоохранительными органами и партнерами отрасли, продолжая инвестировать в новые технологии, обмен разведывательными данными и усиление мер защиты детей в сети.
