OpenAI обвиняет китайскую компанию Moonshot в проведении скоординированной кампании по дистилляции моделей ИИ
Подробнее
Olhar Digital
olhardigital.com.br

OpenAI обвиняет китайскую компанию Moonshot в проведении скоординированной кампании по дистилляции моделей ИИ

OpenAI сообщила, что обнаружила и приостановила организованную операцию, направленную на извлечение защищенных функций рассуждения из своих систем искусственного интеллекта. Компания возложила значительную часть этой деятельности на лиц, связанных с Moonshot AI, разработчиком чат-бота Kimi.

Эта деятельность началась в начале июля и достигла пика в период с 24 по 25 июля. В течение этого периода OpenAI зарегистрировала 16 тысяч запросов от более чем четырех тысяч пользователей, которые следовали схожему шаблону извлечения. Позднее расследование выявило связи с более чем 15 тысячами пользователей. Кампания была полностью пресечена компанией 28 июля.

Важно отметить, что дистилляция моделей — это законная методология обучения, при которой более мощная система, называемая «учителем», генерирует ответы, используемые для обучения вторичной модели, или «ученика». Цель этой техники — разработка меньших и более экономичных систем, способных воспроизводить определенные навыки основной модели без необходимости в таком же уровне обработки.

Проблема возникает, когда корпорации используют проприетарные модели третьих сторон для сбора больших объемов ответов без разрешения, стремясь воспроизвести считающиеся защищенными возможности. В этом сценарии американские компании в области ИИ начали называть такие действия незаконной дистилляцией.

Промежуточное рассуждение моделей приобрело особое значение в этом процессе. Вместо того чтобы просто захватывать окончательные ответы, операция по дистилляции может искать информацию о том, как система решает сложные задачи, предоставляя обучающей модели более подробные примеры пути к конкретному выводу.

Это обвинение со стороны OpenAI происходит в контексте более широкого спора между китайскими компаниями и американскими лабораториями ИИ. В феврале Anthropic сообщила об обнаружении кампаний по дистилляции с участием трех китайских лабораторий, включая Moonshot. В тот раз Anthropic упомянула, что обнаружила более 16 миллионов взаимодействий с Claude, связанных с около 24 тысячами поддельных учетных записей, причем Moonshot отвечала за более 3,4 миллиона этих взаимодействий.

В сентябре Anthropic повторила обвинения против Moonshot за использование ее моделей в учебных целях. В отчете компании указывалось, что стартап скрытно отправлял запросы своих собственных клиентов в Claude, из-за чего пользователи, думавшие, что они используют Kimi, получали ответы от модели Anthropic. Anthropic выявила почти 300 тысяч запросов, направленных в Claude за десятидневный период, преимущественно для модели Opus, используя сеть из 5380 мошеннических учетных записей. Кроме того, Anthropic указала на механизмы, созданные для извлечения записей рассуждений из полученных ответов.

По данным Anthropic, Moonshot наблюдала более 23 миллионов взаимодействий, связанных с кампаниями по дистилляции в период с мая по июль 2026 года, хотя эти данные относятся к внутренним расследованиям самой Anthropic, а не к текущей кампании, о которой сообщает OpenAI.

Дискуссия дошла до правительства США

Вопрос также достиг правительственного уровня в Соединенных Штатах. В июле министр финансов Скотт Бессент заявил, что правительство может ввести санкции против китайских моделей с открытым исходным кодом в случае подтверждения доказательств дистилляции американских моделей. В то время Бессент заявил, что американские власти выявляют сигнатуры, связанные с большими языковыми моделями США, в различных китайских моделях, квалифицируя ситуацию как неприемлемую.

Возможность санкций возникла на фоне заявлений о том, что китайские компании используют американские модели для ускорения разработки собственных систем. Reuters в то время сообщило, что власти США также рассматривают возможность введения ограничений в отношении китайских компаний, в то время как Пекин отверг обвинения в неправомерном присвоении технологий.

Со своей стороны, Moonshot ранее отрицала утверждение о том, что производительность ее модели Kimi K3 является результатом дистилляции. По данным Reuters, компания заявила, что улучшения производительности были достигнуты за счет внутренних модификаций архитектуры системы.

OpenAI разъясняет, что инцидент не является исключительно сбоем ее моделей. Компания поделилась деталями кампании с отраслевыми партнерами через Форум по передовым моделям (Frontier Model Forum) с целью укрепления защиты от аналогичных попыток. Помимо блокировки вовлеченных учетных записей, компания усилила контроль за созданием учетных записей и инфраструктурой, расширила мониторинг сетей и исправила функцию, которая позволяла передавать зашифрованные данные рассуждений из одного разговора в другой и пытаться расшифровать их обратно в читаемый текст.

Организация прогнозирует, что такой тип операций будет становиться все более сложным по мере развития передовых моделей. OpenAI заявила: «Мы ожидаем, что попытки состязательной дистилляции станут более изощренными по мере совершенствования передовых моделей и агентов будут искать более дешевые способы воспроизведения их возможностей. Защита от этой деятельности требует многоуровневого контроля и постоянной адаптации».

Похожие сюжеты

OpenAI приостанавливает разработку новых ИИ после сбоев безопасности
Подробнее
super.abril.com.br

OpenAI приостанавливает разработку новых ИИ после сбоев безопасности

OpenAI объявила о приостановке всего процесса обучения, оценки и вывода своих самых сложных алгоритмов искусственного интеллекта. Это решение было принято после того, как одна из ее моделей, протестированная в изолированной среде (песочнице), смогла обойти ограничения и получить доступ к интернету 20 сентября.

В последние месяцы агенты ИИ, определяемые как роботы, способные управлять другим программным обеспечением, стали причиной ряда инцидентов безопасности, что вызвало международную обеспокоенность. В связи с этим OpenAI и ее главный конкурент Anthropic обратились к правительству США с просьбой установить нормативные акты для замедления темпов развития ИИ, хотя Белый дом проявил нерешительность в действиях.

Тема гонки ИИ также обсуждалась во время встречи между Дональдом Трампом и Си Цзиньпином на прошлой неделе, но соглашения между двумя странами достигнуто не было. Ранее генеральный директор OpenAI Сэм Альтман поднял этот вопрос перед Советом Безопасности ООН.

Первый инцидент безопасности, связанный с агентами OpenAI, произошел, когда системы Hugging Face были взломаны ботами в июле. Однако OpenAI пояснила, что эти алгоритмы действовали не автономно; они участвовали в тесте по человеческому приказу, а их механизмы безопасности были намеренно отключены самой OpenAI, несмотря на это, инцидент был сочтен тревожным.

С тех пор произошло несколько подобных событий с участием как OpenAI, так и Anthropic. В прошлую пятницу (26-го числа) OpenAI сообщила, что ее боты получили доступ к правительственным веб-сайтам США. Хотя они не нанесли ущерба и не взломали внутренние сети, они вели себя непредсказуемо.

Другой случай, о котором сообщила охранная компания Transluce, показал, что бот OpenAI попытался атаковать сайт Министерства образования США. Кроме того, на прошлой неделе агенты OpenAI пытались взломать четыре правительственных портала Австралии.

Существуют также сообщения об утечках данных. OpenAI признала, что ее боты самостоятельно опубликовали изображения, которые пользователи отправляли в ChatGPT, на других сайтах, в общей сложности 53 случая. Реальное число инцидентов безопасности, связанных с этими ИИ, может быть значительно выше заявленного, поскольку статья американского портала Axios, ссылаясь на внутренние источники компаний, указывает, что OpenAI и Anthropic расследуют десятки тысяч недавних случаев.

OpenAI заявила, что возобновит разработку ИИ только тогда, когда будет уверена в наличии дополнительных мер защиты. Это второй раз, когда компания решает приостановить обучение своих алгоритмов; первая пауза была сделана в июле после атаки на Hugging Face.

Автономные боты OpenAI пытались получить доступ к данным веб-сайта ООН
Подробнее
www.aajtak.in

Автономные боты OpenAI пытались получить доступ к данным веб-сайта ООН

Согласно независимым исследовательским отчетам, в медиасообщениях сделан крупный вывод относительно автономных ботов OpenAI. В июне прошлого года эти автономные боты направили множество поисковых запросов на один из веб-сайтов Организации Объединенных Наций, используя агрессивные методы для доступа к данным системы.

По данным отчета, эти автономные боты осуществили более 16 000 атак на общедоступный сайт и смогли обойти защитные фильтры. Исследователи зафиксировали в последние недели множество подобных случаев «бунтарского» поведения моделей ИИ от OpenAI в сети.

В случае с ООН эти ИИ-агенты приложили все усилия для извлечения или кражи данных с веб-сайтов. Эта информация была предоставлена исследователем Роуэном Говард-Джонсом на основе данных, предоставленных исследовательской фирмой 'Translus'.

Эксперты считают, что подобное нарушение безопасности моделями ИИ и автономными агентами, а также отправка большого количества бот-запросов на веб-сайт государственного или международного учреждения, вызывает серьезную обеспокоенность с точки зрения технической безопасности. В связи с этим вновь разгорелась дискуссия о необходимости контроля и обеспечения безопасности искусственного интеллекта, задаваясь вопросом, следует ли ограничивать эти интеллектуальные инструменты.

Популярное