Ученые разработали новую ИИ для высокоточного выявления дипфейков

Исследователи сообщают, что эта система смогла обнаружить манипуляции, которые ускользнули от существующих детекторов, что знаменует собой значительный прогресс в создании более эффективных инструментов против поддельного контента.

Контекст дипфейков

Эксперты отмечают, что генеративный ИИ уже создает изображения и видео, практически неотличимые от реальных записей для человеческого глаза. Хотя эта технология имеет полезные применения, она также увеличивает риски мошенничества, кражи личных данных и распространения дезинформации, что делает разработку надежных методов их идентификации приоритетом в исследованиях ИИ.

Ограничения предыдущих методов

Авторы объясняют, что самые точные современные детекторы дипфейков обычно используют контролируемое обучение, обученные на обширных базах данных аутентичных и подделанных видео. Однако эта модель может страдать от переобучения, изучая специфические характеристики определенных методов фальсификации и теряя эффективность против новых техник.

В отличие от этого, методы самоконтролируемого обучения обучаются только на настоящих видео, что делает их более устойчивыми к новым технологиям, но они обычно демонстрируют меньшую точность. Предложенная новая техника является первым самоконтролируемым подходом, который сочетает высокую скорость обнаружения с надежностью, превосходя существующие контролируемые методы.

Анализ лица против аудио

Вместо поиска несоответствий в пикселях или других визуальных артефактах система концентрирует свой анализ на естественных движениях лица. Она использует модель FLAME, распространенную в анимации лиц и компьютерной графике, которая описывает выражения лица с помощью 53 математических параметров.

Во время разработки исследователи предварительно обучили модель более чем на 450 часах публичных видео. С этим материалом модель научилась предсказывать, какие движения лица должны быть естественными в ответ на определенный звуковой ряд. После этого первоначального обучения система может быть настроена для конкретного человека, используя всего около 60 секунд видео, функционируя как персонализированный детектор дипфейков.

На этапе анализа программное обеспечение сравнивает лицевые движения, наблюдаемые в видео, с теми, которые прогнозируются на основе речи. Заметные различия между этими двумя наборами данных интерпретируются как сильные признаки манипуляции. Владислав Гольяник заявил, что сочетание самоконтролируемого обучения с лицевым анализом на основе FLAME придает этому подходу особую устойчивость к новым методам генерации дипфейков, а также к искажениям, таким как шум или сжатие изображения.

Результаты в строгих тестах

В ходе испытаний, проведенных командой, метод достиг средней точности выше 95% на различных научных эталонных наборах данных, превзойдя производительность считавшихся передовыми техник. Серьезной проблемой была оценка на наборе данных, созданном самими исследователями, содержащем видео, сгенерированные Sora 2, инструментом для генерации видео от OpenAI.

В то время как предыдущие детекторы показывали результаты, близкие к случайным, новая система правильно идентифицировала почти 95% подделанных видео. Несмотря на эти достижения, исследователи предупреждают, что технология все еще имеет ограничения, поскольку требует обширного предварительного обучения на мощном оборудовании и в настоящее время не работает в режиме реального времени.