Инструмент, разработанный Meta для обнаружения изображений, сгенерированных искусственным интеллектом, продемонстрировал сбои при попытке идентифицировать собственные творения после их простой обрезки, как сообщило Reuters.
Результаты теста с сгенерированными изображениями
Тест включал 40 изображений, созданных Muse Image, новейшей моделью генерации изображений компании. Первоначально инструмент смог корректно идентифицировать все 40 оригинальных изображений. Однако, когда эти же изображения были уменьшены примерно до трети или половины их первоначального размера путем обрезки, детектор дал сбой в 55% случаев.
Принцип работы и ограничения системы
Meta объясняет, что ее система обнаружения использует невидимую водяную метку под названием Content Seal, которая встраивается в каждое изображение, созданное Muse Image. Эта технология была разработана, чтобы пользователи могли проверить, было ли изображение создано моделями ИИ компании, даже после обычных правок.
Отвечая на вопросы о результатах анализа Reuters, Meta подчеркнула, что инструмент все еще находится на стадии предварительного тестирования. Компания признала, что водяной знак был спроектирован для поддержки обычных правок, но признала, что сигнал может быть потерян при слишком резкой обрезке.
Мнения экспертов по ИИ
Сивэй Лю, профессор компьютерных наук в Университете штата Нью-Йорк в Баффало и специалист по криминалистике изображений ИИ, прокомментировал Reuters, что системы, зависящие от водяных знаков, имеют известные ограничения. Он заявил, что хотя методы, основанные на водяных знаках, очень эффективны, когда сигнал остается неповрежденным, любые изменения, ослабляющие или удаляющие этот сигнал — такие как сильное сжатие, изменение размера или обрезка — могут снизить их производительность, в зависимости от дизайна водяного знака.
В свою очередь, Сара Баррингтон, аспирантка в области ИИ в Школе информации Калифорнийского университета в Беркли, согласилась с ограничениями, но возразила, что, подобно другим мерам кибербезопасности или физической безопасности, она не может быть абсолютно безупречной. Она добавила, что даже если обнаружение достигает только 90% случаев, это представляет собой значительный прогресс по сравнению с нулевым показателем.
Нормативно-правовая база и конкуренция
Это открытие происходит в чувствительный период, поскольку в этом году состоятся промежуточные выборы в Соединенных Штатах, время, когда распространение манипулированных изображений и дипфейков, как правило, увеличивается. В марте Совет по надзору Meta, независимый орган, ответственный за обязательные решения по модерации контента, потребовал от компании активизировать усилия против распространения вводящего в заблуждение контента, созданного ИИ, на ее платформах, и инвестировать в более надежные инструменты обнаружения.
Meta не сталкивается с этой проблемой в одиночку; Google и OpenAI также выпустили публичные предупреждения о том, что их собственные инструменты обнаружения не застрахованы от методов манипулирования изображениями.
