Discord обнаружил и исправил ошибку в своей системе безопасности, которая привела к необоснованной блокировке более восьми тысяч аккаунтов с мая. Обычный контент, такой как шахматные доски и визуальные элементы игр, был ошибочно интерпретирован механизмом модерации.
Ложные срабатывания в системе модерации
Согласно информации The Verge, ошибка заключалась в автоматизированной системе безопасности Discord, предназначенной для сравнения публикаций с известными вредоносными материалами. Этот инструмент начал генерировать ложные срабатывания, классифицируя безопасные предметы как потенциально подозрительные.
Среди типов контента, вызвавших блокировки, были шахматные доски, текстуры из игр, инвентари Minecraft и другие изображения, которые платформа считала безвредными. В частности, около 200 пользователей пострадали из-за публикаций с сетчатыми узорами, а примерно 8 тысяч других имели свои аккаунты заблокированы из-за неверной интерпретации различных изображений с мая.
Проблемы с процессом разблокировки
Станислав Вишневский, технический директор (CTO) и соучредитель Discord, пояснил, что ошибка не ограничилась первоначальным обнаружением изображений. Он отметил, что проблема затронула и этап снятия блокировок. Вишневский заверил, что всем затронутым лицам был восстановлен доступ.
Идеальный сценарий предполагал, что подозрительный контент будет помечен для ручного анализа, позволяя аккаунту иметь лишь временно ограниченные функции. Однако технический сбой привел к полной блокировке пользователей. Кроме того, даже после разблокировки аккаунтов в результате проверки система продолжала поддерживать некоторые блокировки из-за другой операционной ошибки.
Корректировка после жалоб пользователей
Блокировки привлекли внимание после сообщений пользователей в социальных сетях о потере доступа к Discord из-за публикации повседневных изображений, включая игровые элементы. Компания сообщила, что проблема решена, и подтвердила полное восстановление заблокированных аккаунтов. Этот инцидент подчеркивает необходимость интеграции автоматизированных систем модерации с человеческой оценкой для предотвращения ошибочных санкций.