Tencent выпустила веса модели Hy4 flash для локального развертывания
Подробнее
TechNode
technode.com

Tencent выпустила веса модели Hy4 flash для локального развертывания

Компания Tencent в среду обнародовала веса своей модели искусственного интеллекта Hy4 flash. Этот релиз состоялся через два дня после того, как модель была представлена пользователям через приложения и облачный API компании. Разработчики теперь имеют возможность загрузить стандартную версию модели, ее версию в формате FP8, а также базовую модель для дальнейшего обучения.

Данный выпуск соответствует ранее сделанному заявлению Tencent о планах сделать веса этой модели общедоступными. Модель Hy4 flash способна обрабатывать как текстовый, так и графический ввод, а ее контекстное окно достигает одного миллиона токенов.

Модель обладает приблизительно 224 миллиардами параметров, при этом около 12 миллиардов параметров активируются на каждый токен. Основная цель Hy4 flash — повышение повседневной производительности в таких задачах, как подготовка документов, проведение исследований и работа с электронными таблицами. Tencent сопроводила весами соответствующие материалы для развертывания, распространяя их под лицензией Tencent Hy.

Похожие сюжеты

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов
Подробнее
technode.com

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов

Компания Tencent в пятницу обнародовала веса своей флагманской модели искусственного интеллекта Hy4, предоставив разработчикам возможность самостоятельно загружать и внедрять эту модель. Этот релиз произошел после первоначального запуска Hy4 4 ноября и делает флагманскую модель доступной под лицензией Apache 2.0, которая разрешает как коммерческое использование, так и модификацию.

Модель Hy4 способна понимать текст, изображения и видео, обладая контекстным окном объемом около одного миллиона токенов. Ее языковой каркас типа 'смесь экспертов' содержит 770 миллиардов параметров, при этом для обработки каждого токена активируется 49 миллиардов параметров.

Согласно заявлению Tencent, данная версия модели превосходит предварительный просмотр Hy4 в таких областях, как следование инструкциям, понимание длинного контекста, выполнение расширенных задач и научные исследования.

Модель поддерживает рабочие процессы, охватывающие графические интерфейсы и инструменты командной строки, а также разработку фронтенда, геймдизайн и офисные задачи. Tencent предоставляет инструкции по развертыванию для vLLM и SGLang, а также ресурсы для тонкой настройки и карту оценки безопасности. Выпуск флагманской модели последовал за отдельным открытием меньшей модели Hy4 flash.

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах
Подробнее
pandaily.com

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах

Компания Tencent опубликовала доступные для скачивания веса модели Hy4 flash после того, как 16 ноября было объявлено об API этой модели. Об этом сообщило издание IT Home 18 ноября. Данное обновление представляет собой возможность получить развертываемые контрольные точки, а не повторное представление спецификаций и ценообразования API, которые ранее освещались Pandaily.

Официальная карточка модели Tencent перечисляет три версии: Hy4 flash, которая является моделью с настройкой инструкций; Hy4 flash-FP8, ее квантованная версия с настройкой инструкций; и Hy4 flash-base, предварительно обученная базовая модель. Базовый контрольный пункт предназначен для дальнейшего обучения, а не для замены вариантов, готовых к работе с чатом.

Pandaily проверила все три официальных репозитория на Hugging Face. Файлы индекса весов ссылались на доступные списки шардов, а анонимные запросы байтового диапазона возвращали данные файлов весов для каждой версии. Эти проверки подтверждают наличие возможности загрузки, но не являются полными загрузками контрольных точек или успешными тестами вывода.

Стандартный контрольный пункт содержит около 440,5 ГБ тензорных данных, в то время как для FP8 это составляет примерно 287,1 ГБ. Эти размеры относятся к данным весов, а не к минимальным требованиям к памяти GPU. Квантование уменьшает объем хранения, но не превращает релиз в модель для небольших потребительских устройств.

Документация по развертыванию является важной частью этого выпуска. Tencent предоставляет специализированные образы контейнеров vLLM и SGLang, включая примеры использования тензорного параллелизма восьмиway. Инструкции для Transformers указывают на запрос на поддержку модели, а не предполагают, что стандартный выпущенный пакет уже поддерживает данную архитектуру.

Рецепт vLLM также требует оперативной памяти хоста, поскольку таблицы Engram по умолчанию выгружаются в память ЦП. Начальная конфигурация использует контекст размером 8192 токена; заявленная моделью емкость в 1 миллион токенов не гарантирует, что каждая аппаратная конфигурация сможет обслуживать такую длину. Опубликованные подсказки по памяти являются оценками, а не измеренными минимальными требованиями.

Контрольные точки используют лицензию Tencent Hy 1.0, которая прямо указывает, что она не является Apache 2.0, несмотря на то, что была производна от нее. Раздел 10 требует отдельной письменной лицензии для операторов модели как услуги, чей совокупный мировой доход превышает 50 миллионов долларов США в течение последовательного 12-месячного периода, или для использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в месяц. Применяется узко определенное исключение для внутреннего использования, когда модель и ее результаты не предоставляются третьим сторонам.

Таким образом, данный выпуск лучше всего описать как открытый по весам в соответствии с заявленными условиями Tencent, а не как неограниченно разрешенный открытый исходный код. Tencent сообщает, что выпуск весов более крупной модели Hy4 все еще готовится.

Tencent представила модель Hy4 flash, снизив затраты на задачи ИИ на 95% в внутренних тестах
Подробнее
technode.com

Tencent представила модель Hy4 flash, снизив затраты на задачи ИИ на 95% в внутренних тестах

Компания Tencent в понедельник выпустила Hy4 flash — более экономичную модель искусственного интеллекта, предназначенную для повседневных задач, таких как создание презентаций, проведение исследований и редактирование электронных таблиц.

Согласно внутреннему бенчмарку WorkIndex компании Tencent, стоимость выполнения одной задачи моделью Hy4 flash составила всего одну двадцатую часть по сравнению с полной моделью Hy4. Цены на API установлены следующим образом: 0,07 доллара за миллион входных токенов, 0,281 доллара за миллион выходных токенов и 0,003 доллара за миллион кешированных входных токенов.

Модель Hy4 flash поддерживает мультимодальный ввод и имеет контекстное окно объемом до одного миллиона токенов. Она обладает 224 миллиардами параметров и активирует 12 миллиардов параметров при прямом проходе.

В отдельном слепом тестировании, в котором 85 пользователей WorkBuddy оценивали результаты по 259 задачам, Tencent сообщила, что модель показала уровень удовлетворенности пользователей, близкий к Claude Haiku 5.5, при этом имея наименьшую стоимость и самое короткое время завершения среди протестированных моделей.

Модель доступна в WorkBuddy и Yuanbao, а также через TokenHub в облаке Tencent Cloud. Пользователи WorkBuddy могут пользоваться ею бесплатно до 30 ноября, а TokenHub предлагает доступ по API со скидкой вдвое от стандартной цены. Tencent планирует опубликовать веса модели и сделать ее доступной на OpenRouter.

Популярное