Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями
Подробнее
Pandaily
pandaily.com

Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями

Компания Tencent опубликовала загружаемые веса своей флагманской модели Hy4 20 ноября, сопроводив релизом новую Системную карту. Этот выпуск последовал за запуском сервиса 4 ноября и отличается от более ранних контрольных точек Hy4, которые были доступны на этой неделе.

В официальной карточке модели описана мультимодальная система типа 'mixture-of-experts' с языковым ядром, содержащим 770 миллиардов параметров. При активации для каждого текстового токена используется 49 миллиардов параметров, а окно контекста достигает 1 048 576 токенов. При этом подсчет ядра не включает кодировщик зрения, адаптер и компонент составления черновиков DFly2.

Tencent предоставила разработчикам различные отправные точки для дальнейшего обучения или внедрения, включив в список инструкции Hy4, Hy4-FP8 и базовые контрольные точки Hy4.

Pandaily подтвердила получение небольшого диапазона байтов из одного из шардов весов в каждом из трех репозиториев. Однако компания не скачивала полные контрольные точки и не проводила инференс.

Документация по развертыванию содержит рецепты для vLLM и SGLang с использованием тензорного параллелизма восьмиway; это значительные инфраструктурные развертывания, а не доказательство того, что флагманская модель работает на обычном ноутбуке.

Веса используют лицензию Tencent Hy License 1.0, а не Apache 2.0. Дополнительные коммерческие условия применяются к операторам, предоставляющим третьим сторонам общецелевой удаленный вывод модели или тонкую настройку. Такие операторы модели как услуга должны получить отдельное письменное разрешение, если их совокупный мировой валовой доход превышает 50 миллионов долларов в любой последовательный 12-месячный период, независимо от того, генерировала ли Hy4 этот доход, или до использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в любом календарном месяце.

Лицензия исключает рабочие процессы конечного пользователя с ограниченным функционалом и простые ретрансляции в независимо управляемые сервисы моделей из своего определения модели как услуги. Узкое исключение для внутреннего использования требует, чтобы модель, ее производные или результаты не предоставлялись третьим сторонам. Следовательно, эти пороги не следует представлять как всеобъемлющее ограничение для каждого коммерческого пользователя.

Tencent также указывает на фильтрацию вредоносного учебного материала по кибербезопасности и проведение внутренних аудитов безопасности специалистами. Эти оценки исходят от эмитента, а не являются независимыми гарантиями того, что модель не может быть использована ненадлежащим образом. Разработчики, оценивающие развертывание, по-прежнему должны проводить собственную оценку производительности задач, требований к ресурсам и мер безопасности.

Практическое изменение заключается в доступе к артефактам флагманской модели и условиям, регулирующим ее использование, а не в новом дебюте ранее анонсированных возможностей Hy4 в области зрения и компьютерного использования.

Похожие сюжеты

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов
Подробнее
technode.com

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов

Компания Tencent в пятницу обнародовала веса своей флагманской модели искусственного интеллекта Hy4, предоставив разработчикам возможность самостоятельно загружать и внедрять эту модель. Этот релиз произошел после первоначального запуска Hy4 4 ноября и делает флагманскую модель доступной под лицензией Apache 2.0, которая разрешает как коммерческое использование, так и модификацию.

Модель Hy4 способна понимать текст, изображения и видео, обладая контекстным окном объемом около одного миллиона токенов. Ее языковой каркас типа 'смесь экспертов' содержит 770 миллиардов параметров, при этом для обработки каждого токена активируется 49 миллиардов параметров.

Согласно заявлению Tencent, данная версия модели превосходит предварительный просмотр Hy4 в таких областях, как следование инструкциям, понимание длинного контекста, выполнение расширенных задач и научные исследования.

Модель поддерживает рабочие процессы, охватывающие графические интерфейсы и инструменты командной строки, а также разработку фронтенда, геймдизайн и офисные задачи. Tencent предоставляет инструкции по развертыванию для vLLM и SGLang, а также ресурсы для тонкой настройки и карту оценки безопасности. Выпуск флагманской модели последовал за отдельным открытием меньшей модели Hy4 flash.

Tencent выпустила веса модели Hy4 flash для локального развертывания
Подробнее
technode.com

Tencent выпустила веса модели Hy4 flash для локального развертывания

Компания Tencent в среду обнародовала веса своей модели искусственного интеллекта Hy4 flash. Этот релиз состоялся через два дня после того, как модель была представлена пользователям через приложения и облачный API компании. Разработчики теперь имеют возможность загрузить стандартную версию модели, ее версию в формате FP8, а также базовую модель для дальнейшего обучения.

Данный выпуск соответствует ранее сделанному заявлению Tencent о планах сделать веса этой модели общедоступными. Модель Hy4 flash способна обрабатывать как текстовый, так и графический ввод, а ее контекстное окно достигает одного миллиона токенов.

Модель обладает приблизительно 224 миллиардами параметров, при этом около 12 миллиардов параметров активируются на каждый токен. Основная цель Hy4 flash — повышение повседневной производительности в таких задачах, как подготовка документов, проведение исследований и работа с электронными таблицами. Tencent сопроводила весами соответствующие материалы для развертывания, распространяя их под лицензией Tencent Hy.

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах
Подробнее
pandaily.com

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах

Компания Tencent опубликовала доступные для скачивания веса модели Hy4 flash после того, как 16 ноября было объявлено об API этой модели. Об этом сообщило издание IT Home 18 ноября. Данное обновление представляет собой возможность получить развертываемые контрольные точки, а не повторное представление спецификаций и ценообразования API, которые ранее освещались Pandaily.

Официальная карточка модели Tencent перечисляет три версии: Hy4 flash, которая является моделью с настройкой инструкций; Hy4 flash-FP8, ее квантованная версия с настройкой инструкций; и Hy4 flash-base, предварительно обученная базовая модель. Базовый контрольный пункт предназначен для дальнейшего обучения, а не для замены вариантов, готовых к работе с чатом.

Pandaily проверила все три официальных репозитория на Hugging Face. Файлы индекса весов ссылались на доступные списки шардов, а анонимные запросы байтового диапазона возвращали данные файлов весов для каждой версии. Эти проверки подтверждают наличие возможности загрузки, но не являются полными загрузками контрольных точек или успешными тестами вывода.

Стандартный контрольный пункт содержит около 440,5 ГБ тензорных данных, в то время как для FP8 это составляет примерно 287,1 ГБ. Эти размеры относятся к данным весов, а не к минимальным требованиям к памяти GPU. Квантование уменьшает объем хранения, но не превращает релиз в модель для небольших потребительских устройств.

Документация по развертыванию является важной частью этого выпуска. Tencent предоставляет специализированные образы контейнеров vLLM и SGLang, включая примеры использования тензорного параллелизма восьмиway. Инструкции для Transformers указывают на запрос на поддержку модели, а не предполагают, что стандартный выпущенный пакет уже поддерживает данную архитектуру.

Рецепт vLLM также требует оперативной памяти хоста, поскольку таблицы Engram по умолчанию выгружаются в память ЦП. Начальная конфигурация использует контекст размером 8192 токена; заявленная моделью емкость в 1 миллион токенов не гарантирует, что каждая аппаратная конфигурация сможет обслуживать такую длину. Опубликованные подсказки по памяти являются оценками, а не измеренными минимальными требованиями.

Контрольные точки используют лицензию Tencent Hy 1.0, которая прямо указывает, что она не является Apache 2.0, несмотря на то, что была производна от нее. Раздел 10 требует отдельной письменной лицензии для операторов модели как услуги, чей совокупный мировой доход превышает 50 миллионов долларов США в течение последовательного 12-месячного периода, или для использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в месяц. Применяется узко определенное исключение для внутреннего использования, когда модель и ее результаты не предоставляются третьим сторонам.

Таким образом, данный выпуск лучше всего описать как открытый по весам в соответствии с заявленными условиями Tencent, а не как неограниченно разрешенный открытый исходный код. Tencent сообщает, что выпуск весов более крупной модели Hy4 все еще готовится.

Популярное