MetaX добавила поддержку Hy4 на GPU серии C с использованием весов FlagOS W8A8
Подробнее
Pandaily
pandaily.com

MetaX добавила поддержку Hy4 на GPU серии C с использованием весов FlagOS W8A8

Компания MetaX сообщила, что ее графические процессоры серии C завершили адаптацию нулевого дня для флагманской модели Tencent Hy4 после выпуска весов с загружаемым весом в ноябре. Кроме того, разработчик чипов представил версию W8A8 на базе FlagOS для своего оборудования, что является вариантом развертывания, а не созданием новой, специально обученной модели.

Интеграция была достигнута благодаря программному стеку MXMACA компании, который включает драйверы, интерфейсы, компилятор MXCC, адаптацию операторов и соединения с фреймворками для инференса. В объявлении отмечаются высокие показатели пропускной способности, низкая задержка и стабильная работа, однако эти утверждения являются заявлениями вендора, а не независимо проверенными результатами во всех приложениях.

Публичный репозиторий FlagRelease содержит файлы весов safetensors, которые можно скачать, а не просто анонс или демонстрацию. Обозначение W8A8 указывает на восьмибитные веса и активации. При проверке было успешно получено 64 байта из перечисленного фрагмента веса; издание Pandaily не скачивало полную модель и не запускало развертывание.

Сопутствующая карточка модели описывает четыре сервера, каждый из которых оснащен восемью GPU MetaX C550 емкостью 64 ГБ, что в сумме составляет 32 GPU. В тестовом сценарии с случайным вводом использовалось 64 одновременных запроса с приблизительно 4000 входными и 1000 выходными токенами на запрос. Эти условия работы и аппаратные характеристики важны при интерпретации полученных данных.

В рамках этого теста режим декодирования графа, который был рекомендован, обеспечил агрегированную скорость вывода 80,98 токенов в секунду по сравнению с 52,31 токенами в секунду без него. Тем не менее, среднее время до первого токена увеличилось с 220,5 до 227,2 секунд, включая ожидание в очереди. Следовательно, результаты не подтверждают общее утверждение об улучшении всех показателей задержки.

Та же самая карточка все еще отмечает два мультимодальных тестирования как продолжающиеся. Ее рецепт развертывания использует максимальную настройку контекста в 65 536 токенов, что нельзя путать с заявленной емкостью контекста Hy4 в 1 миллион токенов. Показатели производительности и оценки остаются данными, предоставленными издателем, и зависят от конфигурации.

Также следует обратить внимание на лицензирование. Хотя метаданные производственного репозитория содержат метку Apache-2.0, исходная лицензия Tencent Hy License 1.0 прямо заявляет, что она не является Apache 2.0 и включает квантованные веса как производные работы. Она устанавливает отдельные требования к лицензированию для квалифицированных предприятий, предоставляющих Модель как Сервис, с исключением для внутреннего использования при соблюдении определенных условий.

Полезным дополнением является специфический путь обслуживания MetaX и доступность квантованных весов. Это отличается от более ранней адаптации Hy4 от MetaX и от первоначального объявления модели Tencent; ни интеграция оборудования, ни метаданные репозитория не отменяют коммерческих условий исходной модели.

Похожие сюжеты

Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями
Подробнее
pandaily.com

Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями

Компания Tencent опубликовала загружаемые веса своей флагманской модели Hy4 20 ноября, сопроводив релизом новую Системную карту. Этот выпуск последовал за запуском сервиса 4 ноября и отличается от более ранних контрольных точек Hy4, которые были доступны на этой неделе.

В официальной карточке модели описана мультимодальная система типа 'mixture-of-experts' с языковым ядром, содержащим 770 миллиардов параметров. При активации для каждого текстового токена используется 49 миллиардов параметров, а окно контекста достигает 1 048 576 токенов. При этом подсчет ядра не включает кодировщик зрения, адаптер и компонент составления черновиков DFly2.

Tencent предоставила разработчикам различные отправные точки для дальнейшего обучения или внедрения, включив в список инструкции Hy4, Hy4-FP8 и базовые контрольные точки Hy4.

Pandaily подтвердила получение небольшого диапазона байтов из одного из шардов весов в каждом из трех репозиториев. Однако компания не скачивала полные контрольные точки и не проводила инференс.

Документация по развертыванию содержит рецепты для vLLM и SGLang с использованием тензорного параллелизма восьмиway; это значительные инфраструктурные развертывания, а не доказательство того, что флагманская модель работает на обычном ноутбуке.

Веса используют лицензию Tencent Hy License 1.0, а не Apache 2.0. Дополнительные коммерческие условия применяются к операторам, предоставляющим третьим сторонам общецелевой удаленный вывод модели или тонкую настройку. Такие операторы модели как услуга должны получить отдельное письменное разрешение, если их совокупный мировой валовой доход превышает 50 миллионов долларов в любой последовательный 12-месячный период, независимо от того, генерировала ли Hy4 этот доход, или до использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в любом календарном месяце.

Лицензия исключает рабочие процессы конечного пользователя с ограниченным функционалом и простые ретрансляции в независимо управляемые сервисы моделей из своего определения модели как услуги. Узкое исключение для внутреннего использования требует, чтобы модель, ее производные или результаты не предоставлялись третьим сторонам. Следовательно, эти пороги не следует представлять как всеобъемлющее ограничение для каждого коммерческого пользователя.

Tencent также указывает на фильтрацию вредоносного учебного материала по кибербезопасности и проведение внутренних аудитов безопасности специалистами. Эти оценки исходят от эмитента, а не являются независимыми гарантиями того, что модель не может быть использована ненадлежащим образом. Разработчики, оценивающие развертывание, по-прежнему должны проводить собственную оценку производительности задач, требований к ресурсам и мер безопасности.

Практическое изменение заключается в доступе к артефактам флагманской модели и условиям, регулирующим ее использование, а не в новом дебюте ранее анонсированных возможностей Hy4 в области зрения и компьютерного использования.

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах
Подробнее
pandaily.com

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах

Компания Tencent опубликовала доступные для скачивания веса модели Hy4 flash после того, как 16 ноября было объявлено об API этой модели. Об этом сообщило издание IT Home 18 ноября. Данное обновление представляет собой возможность получить развертываемые контрольные точки, а не повторное представление спецификаций и ценообразования API, которые ранее освещались Pandaily.

Официальная карточка модели Tencent перечисляет три версии: Hy4 flash, которая является моделью с настройкой инструкций; Hy4 flash-FP8, ее квантованная версия с настройкой инструкций; и Hy4 flash-base, предварительно обученная базовая модель. Базовый контрольный пункт предназначен для дальнейшего обучения, а не для замены вариантов, готовых к работе с чатом.

Pandaily проверила все три официальных репозитория на Hugging Face. Файлы индекса весов ссылались на доступные списки шардов, а анонимные запросы байтового диапазона возвращали данные файлов весов для каждой версии. Эти проверки подтверждают наличие возможности загрузки, но не являются полными загрузками контрольных точек или успешными тестами вывода.

Стандартный контрольный пункт содержит около 440,5 ГБ тензорных данных, в то время как для FP8 это составляет примерно 287,1 ГБ. Эти размеры относятся к данным весов, а не к минимальным требованиям к памяти GPU. Квантование уменьшает объем хранения, но не превращает релиз в модель для небольших потребительских устройств.

Документация по развертыванию является важной частью этого выпуска. Tencent предоставляет специализированные образы контейнеров vLLM и SGLang, включая примеры использования тензорного параллелизма восьмиway. Инструкции для Transformers указывают на запрос на поддержку модели, а не предполагают, что стандартный выпущенный пакет уже поддерживает данную архитектуру.

Рецепт vLLM также требует оперативной памяти хоста, поскольку таблицы Engram по умолчанию выгружаются в память ЦП. Начальная конфигурация использует контекст размером 8192 токена; заявленная моделью емкость в 1 миллион токенов не гарантирует, что каждая аппаратная конфигурация сможет обслуживать такую длину. Опубликованные подсказки по памяти являются оценками, а не измеренными минимальными требованиями.

Контрольные точки используют лицензию Tencent Hy 1.0, которая прямо указывает, что она не является Apache 2.0, несмотря на то, что была производна от нее. Раздел 10 требует отдельной письменной лицензии для операторов модели как услуги, чей совокупный мировой доход превышает 50 миллионов долларов США в течение последовательного 12-месячного периода, или для использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в месяц. Применяется узко определенное исключение для внутреннего использования, когда модель и ее результаты не предоставляются третьим сторонам.

Таким образом, данный выпуск лучше всего описать как открытый по весам в соответствии с заявленными условиями Tencent, а не как неограниченно разрешенный открытый исходный код. Tencent сообщает, что выпуск весов более крупной модели Hy4 все еще готовится.

TokenRhythm выпустила ограниченную бета-версию NeoHorse-1.5-Flash Preview, модели, ориентированной на агентов
Подробнее
pandaily.com

TokenRhythm выпустила ограниченную бета-версию NeoHorse-1.5-Flash Preview, модели, ориентированной на агентов

Компания TokenRhythm, китайский разработчик инфраструктуры искусственного интеллекта, управляющий платформой маршрутизации нескольких моделей, представила NeoHorse-1.5-Flash Preview 5 ноября. Компания позиционирует эту модель как агентно-ориентированную, предназначенную для выполнения задач и разработки программного обеспечения. Доступ к ней предоставляется исключительно через ограниченную бета-версию, для участия в которой пользователи должны подавать заявку через официальный аккаунт компании в WeChat.

Согласно данным TokenRhythm, модель была обучена на базе Qwen3.8-Flash и обладает общим количеством параметров в 180 миллиардов, из которых активно используется 6 миллиардов. В собственном сравнении с базовой моделью, компания отметила рост общих показателей на 9,23 балла в тесте Agents' Last Exam и на 5,92 балла в тесте Natural Language to Repository. Кроме того, было достигнуто улучшение в задачах физических наук более чем на 20 пунктов, а также прогресс в инструментарии разработчика, тестировании, веб-разработке и криптографии и безопасности. Следует отметить, что эти оценки проведены самой компанией, и независимых результатов пока не опубликовано.

Выпуск рассматривается как второй этап работы TokenRhythm над рекурсивным самосовершенствованием. После выпуска NeoHorse-1 в сентябре компания вернула эту модель в свой пул моделей, собрала обратную связь по выполнению реальных задач и использовала ее для обучения следующей версии. Система маршрутизации компании предоставляет сигналы о требуемых возможностях для задач, а запуск нескольких передовых моделей по одной и той же задаче дает сопоставимые результаты. Различия между результатами NeoHorse и этими данными используются в качестве обучающих сигналов. Команда назвала три метода, лежащие в основе этого процесса: многомодельная дифференциальная диагностика, эволюция враждебной среды и обучение онлайн роем.

Этот цикл также опирается на OpenSquilla, продукт компании TokenRhythm с открытым исходным кодом. В обновлении, выпущенном на следующий день после выбора уровня модели в зависимости от намерения задачи, сохраняется выбранный уровень при продолжении задачи и повышается уровень при повторных попытках.

Публичные страницы TokenRhythm на GitHub и Hugging Face подтверждают наличие предыдущего поколения, а не новой предварительной версии. Модель NeoHorse-1 была выпущена 7 сентября в версиях 4B и 9B, дообученных на Qwen3.5 под лицензией Apache 2.0, вместе с техническим отчетом и квантованными версиями. В конце сентября последовала модель принятия решений 4B, получившая название NeoHorse-Jev. На момент публикации, на этих страницах отсутствовали загружаемые веса, карточка модели или лицензия для NeoHorse-1.5-Flash Preview, поэтому ее нельзя рассматривать как релиз с открытыми весами.

Популярное