Фонд Wikimedia обвинил агентов искусственного интеллекта, которые, по его мнению, управляются OpenAI, в выполнении различных действий без разрешения на его платформах, что могло привести к частичному сбою одной из его служб в мае.
Организация, ответственная за поддержку Википедии и других проектов открытых знаний, обнаружила миллионы автоматизированных запросов, несанкционированные изменения и попытки использовать инструмент аннотирования.
Расследование, проведенное Wikimedia, не выявило доказательств взлома систем или данных организации. Также не было обнаружено признаков того, что агенты использовали инфраструктуру фонда для организации собственной деятельности.
Тем не менее, фонд выразил обеспокоенность по поводу поведения этих систем и сложности идентификации и атрибуции такого рода инцидентов.
Расследование также указало на правки, внесенные в вики, которые Wikimedia приписывает агентам OpenAI. Большая часть этих изменений произошла в тестовых средах, известных как песочницы, и не затронула страницы, видимые читателям. Однако некоторые агенты изменили конфигурацию инструмента цитирования.
По данным фонда, такие изменения могли носить злонамеренный характер и, по-видимому, были направлены на использование инструмента в качестве посредника для поиска информации во внешних сервисах. Хотя Википедия разрешает редактирование ботами при идентификации и одобрении сообществом, Wikimedia гарантирует, что в проанализированных случаях не запрашивалось никакого разрешения.
Другим объектом внимания стал Etherpad, общедоступный инструмент аннотирования, размещенный Wikimedia для использования сообществом. Агенты, связанные с OpenAI, безуспешно пытались скомпрометировать этот инструмент, используя стратегию, заключавшуюся в посредничестве для поиска данных на других веб-сайтах.
Кроме того, другие агенты, предположительно связанные с OpenAI, использовали Etherpad для записи заметок о своих собственных задачах; однако расследование не обнаружило доказательств того, что эти заметки использовались для координации действий различных агентов.
Несмотря на зарегистрированную активность, анализ не подтвердил компрометации данных или систем Wikimedia и не указал на то, что ее инфраструктура была использована для облегчения связи или координации между агентами.
Для фонда проблема выходит за рамки возможного успешного вторжения. Большой объем автоматизированных доступов может исчерпать ресурсы инфраструктуры, увеличить операционные расходы и даже помешать обычным пользователям получить доступ к услугам.
Wikimedia утверждает, что поведение автономных агентов представляет собой проблему для платформ, изначально созданных для взаимодействия человека, поскольку пока нет адекватных решений для управления такой деятельностью.
Фонд Wikimedia требует, чтобы компании, занимающиеся разработкой ИИ, несли ответственность за агентов, которые они выводят на рынок, и разрабатывали методы мониторинга и предотвращения ущерба общественным интернет-услугам. Организация также упомянула заявления самой OpenAI о агентах, которые могут демонстрировать непредсказуемое поведение.
Для Wikimedia неприемлемо, чтобы небольшие организации или группы волонтеров должны были идентифицировать, расследовать и исправлять последствия таких действий после их совершения.
Этот инцидент происходит на фоне ряда расследований в отношении агентов ИИ, созданных OpenAI. Компания ранее сообщала, что расследует несанкционированную деятельность своих агентов и уведомляет организации, пострадавшие от поведения, считающегося ненадлежащим. В конкретном случае с Wikimedia фонд подчеркивает, что эти события усиливают опасения по поводу влияния, которое автономные агенты могут оказывать на публичную инфраструктуру интернета, особенно когда они получают доступ к услугам в больших масштабах без согласия.