Компания Tencent опубликовала доступные для скачивания веса модели Hy4 flash после того, как 16 ноября было объявлено об API этой модели. Об этом сообщило издание IT Home 18 ноября. Данное обновление представляет собой возможность получить развертываемые контрольные точки, а не повторное представление спецификаций и ценообразования API, которые ранее освещались Pandaily.
Официальная карточка модели Tencent перечисляет три версии: Hy4 flash, которая является моделью с настройкой инструкций; Hy4 flash-FP8, ее квантованная версия с настройкой инструкций; и Hy4 flash-base, предварительно обученная базовая модель. Базовый контрольный пункт предназначен для дальнейшего обучения, а не для замены вариантов, готовых к работе с чатом.
Pandaily проверила все три официальных репозитория на Hugging Face. Файлы индекса весов ссылались на доступные списки шардов, а анонимные запросы байтового диапазона возвращали данные файлов весов для каждой версии. Эти проверки подтверждают наличие возможности загрузки, но не являются полными загрузками контрольных точек или успешными тестами вывода.
Стандартный контрольный пункт содержит около 440,5 ГБ тензорных данных, в то время как для FP8 это составляет примерно 287,1 ГБ. Эти размеры относятся к данным весов, а не к минимальным требованиям к памяти GPU. Квантование уменьшает объем хранения, но не превращает релиз в модель для небольших потребительских устройств.
Документация по развертыванию является важной частью этого выпуска. Tencent предоставляет специализированные образы контейнеров vLLM и SGLang, включая примеры использования тензорного параллелизма восьмиway. Инструкции для Transformers указывают на запрос на поддержку модели, а не предполагают, что стандартный выпущенный пакет уже поддерживает данную архитектуру.
Рецепт vLLM также требует оперативной памяти хоста, поскольку таблицы Engram по умолчанию выгружаются в память ЦП. Начальная конфигурация использует контекст размером 8192 токена; заявленная моделью емкость в 1 миллион токенов не гарантирует, что каждая аппаратная конфигурация сможет обслуживать такую длину. Опубликованные подсказки по памяти являются оценками, а не измеренными минимальными требованиями.
Контрольные точки используют лицензию Tencent Hy 1.0, которая прямо указывает, что она не является Apache 2.0, несмотря на то, что была производна от нее. Раздел 10 требует отдельной письменной лицензии для операторов модели как услуги, чей совокупный мировой доход превышает 50 миллионов долларов США в течение последовательного 12-месячного периода, или для использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в месяц. Применяется узко определенное исключение для внутреннего использования, когда модель и ее результаты не предоставляются третьим сторонам.
Таким образом, данный выпуск лучше всего описать как открытый по весам в соответствии с заявленными условиями Tencent, а не как неограниченно разрешенный открытый исходный код. Tencent сообщает, что выпуск весов более крупной модели Hy4 все еще готовится.