Компания MetaX сообщила, что ее графические процессоры серии C завершили адаптацию нулевого дня для флагманской модели Tencent Hy4 после выпуска весов с загружаемым весом в ноябре. Кроме того, разработчик чипов представил версию W8A8 на базе FlagOS для своего оборудования, что является вариантом развертывания, а не созданием новой, специально обученной модели.
Интеграция была достигнута благодаря программному стеку MXMACA компании, который включает драйверы, интерфейсы, компилятор MXCC, адаптацию операторов и соединения с фреймворками для инференса. В объявлении отмечаются высокие показатели пропускной способности, низкая задержка и стабильная работа, однако эти утверждения являются заявлениями вендора, а не независимо проверенными результатами во всех приложениях.
Публичный репозиторий FlagRelease содержит файлы весов safetensors, которые можно скачать, а не просто анонс или демонстрацию. Обозначение W8A8 указывает на восьмибитные веса и активации. При проверке было успешно получено 64 байта из перечисленного фрагмента веса; издание Pandaily не скачивало полную модель и не запускало развертывание.
Сопутствующая карточка модели описывает четыре сервера, каждый из которых оснащен восемью GPU MetaX C550 емкостью 64 ГБ, что в сумме составляет 32 GPU. В тестовом сценарии с случайным вводом использовалось 64 одновременных запроса с приблизительно 4000 входными и 1000 выходными токенами на запрос. Эти условия работы и аппаратные характеристики важны при интерпретации полученных данных.
В рамках этого теста режим декодирования графа, который был рекомендован, обеспечил агрегированную скорость вывода 80,98 токенов в секунду по сравнению с 52,31 токенами в секунду без него. Тем не менее, среднее время до первого токена увеличилось с 220,5 до 227,2 секунд, включая ожидание в очереди. Следовательно, результаты не подтверждают общее утверждение об улучшении всех показателей задержки.
Та же самая карточка все еще отмечает два мультимодальных тестирования как продолжающиеся. Ее рецепт развертывания использует максимальную настройку контекста в 65 536 токенов, что нельзя путать с заявленной емкостью контекста Hy4 в 1 миллион токенов. Показатели производительности и оценки остаются данными, предоставленными издателем, и зависят от конфигурации.
Также следует обратить внимание на лицензирование. Хотя метаданные производственного репозитория содержат метку Apache-2.0, исходная лицензия Tencent Hy License 1.0 прямо заявляет, что она не является Apache 2.0 и включает квантованные веса как производные работы. Она устанавливает отдельные требования к лицензированию для квалифицированных предприятий, предоставляющих Модель как Сервис, с исключением для внутреннего использования при соблюдении определенных условий.
Полезным дополнением является специфический путь обслуживания MetaX и доступность квантованных весов. Это отличается от более ранней адаптации Hy4 от MetaX и от первоначального объявления модели Tencent; ни интеграция оборудования, ни метаданные репозитория не отменяют коммерческих условий исходной модели.



