Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов
Подробнее
TechNode
technode.com

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов

Компания Tencent в пятницу обнародовала веса своей флагманской модели искусственного интеллекта Hy4, предоставив разработчикам возможность самостоятельно загружать и внедрять эту модель. Этот релиз произошел после первоначального запуска Hy4 4 ноября и делает флагманскую модель доступной под лицензией Apache 2.0, которая разрешает как коммерческое использование, так и модификацию.

Модель Hy4 способна понимать текст, изображения и видео, обладая контекстным окном объемом около одного миллиона токенов. Ее языковой каркас типа 'смесь экспертов' содержит 770 миллиардов параметров, при этом для обработки каждого токена активируется 49 миллиардов параметров.

Согласно заявлению Tencent, данная версия модели превосходит предварительный просмотр Hy4 в таких областях, как следование инструкциям, понимание длинного контекста, выполнение расширенных задач и научные исследования.

Модель поддерживает рабочие процессы, охватывающие графические интерфейсы и инструменты командной строки, а также разработку фронтенда, геймдизайн и офисные задачи. Tencent предоставляет инструкции по развертыванию для vLLM и SGLang, а также ресурсы для тонкой настройки и карту оценки безопасности. Выпуск флагманской модели последовал за отдельным открытием меньшей модели Hy4 flash.

Похожие сюжеты

Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями
Подробнее
pandaily.com

Tencent выпустила веса флагманской модели Hy4 под лицензией с условиями

Компания Tencent опубликовала загружаемые веса своей флагманской модели Hy4 20 ноября, сопроводив релизом новую Системную карту. Этот выпуск последовал за запуском сервиса 4 ноября и отличается от более ранних контрольных точек Hy4, которые были доступны на этой неделе.

В официальной карточке модели описана мультимодальная система типа 'mixture-of-experts' с языковым ядром, содержащим 770 миллиардов параметров. При активации для каждого текстового токена используется 49 миллиардов параметров, а окно контекста достигает 1 048 576 токенов. При этом подсчет ядра не включает кодировщик зрения, адаптер и компонент составления черновиков DFly2.

Tencent предоставила разработчикам различные отправные точки для дальнейшего обучения или внедрения, включив в список инструкции Hy4, Hy4-FP8 и базовые контрольные точки Hy4.

Pandaily подтвердила получение небольшого диапазона байтов из одного из шардов весов в каждом из трех репозиториев. Однако компания не скачивала полные контрольные точки и не проводила инференс.

Документация по развертыванию содержит рецепты для vLLM и SGLang с использованием тензорного параллелизма восьмиway; это значительные инфраструктурные развертывания, а не доказательство того, что флагманская модель работает на обычном ноутбуке.

Веса используют лицензию Tencent Hy License 1.0, а не Apache 2.0. Дополнительные коммерческие условия применяются к операторам, предоставляющим третьим сторонам общецелевой удаленный вывод модели или тонкую настройку. Такие операторы модели как услуга должны получить отдельное письменное разрешение, если их совокупный мировой валовой доход превышает 50 миллионов долларов в любой последовательный 12-месячный период, независимо от того, генерировала ли Hy4 этот доход, или до использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в любом календарном месяце.

Лицензия исключает рабочие процессы конечного пользователя с ограниченным функционалом и простые ретрансляции в независимо управляемые сервисы моделей из своего определения модели как услуги. Узкое исключение для внутреннего использования требует, чтобы модель, ее производные или результаты не предоставлялись третьим сторонам. Следовательно, эти пороги не следует представлять как всеобъемлющее ограничение для каждого коммерческого пользователя.

Tencent также указывает на фильтрацию вредоносного учебного материала по кибербезопасности и проведение внутренних аудитов безопасности специалистами. Эти оценки исходят от эмитента, а не являются независимыми гарантиями того, что модель не может быть использована ненадлежащим образом. Разработчики, оценивающие развертывание, по-прежнему должны проводить собственную оценку производительности задач, требований к ресурсам и мер безопасности.

Практическое изменение заключается в доступе к артефактам флагманской модели и условиям, регулирующим ее использование, а не в новом дебюте ранее анонсированных возможностей Hy4 в области зрения и компьютерного использования.

Tencent выпустила веса модели Hy4 flash для локального развертывания
Подробнее
technode.com

Tencent выпустила веса модели Hy4 flash для локального развертывания

Компания Tencent в среду обнародовала веса своей модели искусственного интеллекта Hy4 flash. Этот релиз состоялся через два дня после того, как модель была представлена пользователям через приложения и облачный API компании. Разработчики теперь имеют возможность загрузить стандартную версию модели, ее версию в формате FP8, а также базовую модель для дальнейшего обучения.

Данный выпуск соответствует ранее сделанному заявлению Tencent о планах сделать веса этой модели общедоступными. Модель Hy4 flash способна обрабатывать как текстовый, так и графический ввод, а ее контекстное окно достигает одного миллиона токенов.

Модель обладает приблизительно 224 миллиардами параметров, при этом около 12 миллиардов параметров активируются на каждый токен. Основная цель Hy4 flash — повышение повседневной производительности в таких задачах, как подготовка документов, проведение исследований и работа с электронными таблицами. Tencent сопроводила весами соответствующие материалы для развертывания, распространяя их под лицензией Tencent Hy.

MiniMax выпустила модель H3-Image с открытыми весами для генерации и редактирования изображений 16 МП
Подробнее
pandaily.com

MiniMax выпустила модель H3-Image с открытыми весами для генерации и редактирования изображений 16 МП

Компания MiniMax представила модель MiniMax-H3-Image с открытыми весами. Эта модель предназначена для задач преобразования текста в изображение и редактирования изображений, и она является частью семейства H3 компании.

Выпуск состоялся поздно вечером 10 ноября, а сами веса доступны на платформе Hugging Face. Согласно заявлению MiniMax, данная модель способна генерировать изображение с разрешением около 16 мегапикселей, размером 4096 на 4096 при соотношении сторон 1:1, менее чем за 10 секунд. Компания утверждает, что это примерно в пять раз быстрее, чем средний показатель на рынке для такого разрешения.

Характеристики и возможности модели

Согласно карточке модели, один контрольный файл способен выполнять как преобразование текста в изображение, так и редактирование одного или нескольких эталонных изображений, принимая до 16 таких ссылок. Диффузионный трансформер имеет 33,1 миллиарда параметров, использует архитектуру H3, но без аудиослоев, и был дистиллирован до шести шагов сэмплирования без использования классификатора без свободной направляющей. Текстовый энкодер модели представляет собой отдельный компонент — текстовый энкодер MiniMax-H3.

MiniMax указывает, что выходные размеры могут достигать 6272 на 2688 без использования апскейлера. Файл в формате BF16 весит 68,65 ГБ, а дополнительная модель расширения промпта под названием MiniMax-H3-Image-PE имеет размер 17,9 ГБ.

Компания заявляет, что следование инструкциям моделью является самым сильным среди моделей для изображений с открытым исходным кодом, и она избегает характерного «искусственного интеллекта» внешнего вида. Эти заявления являются собственными утверждениями компании, и в исходном материале отсутствовали независимые сравнения.

Карточка модели рекомендует использовать SGLang, vLLM-Omni, diffusers и ComfyUI для локального развертывания, а также перечисляет ускорители NVIDIA и AMD. Модель также доступна через API и приложения MiniMax, причем в течение первой недели компания предлагает скидку 50% на запросы API для изображений с разрешением 16 мегапикселей и выше.

Лицензионные условия

Лицензия, применяемая к модели, называется MiniMax-H3-Image Community License Agreement, и она не является стандартной лицензией с открытым исходным кодом. Данное соглашение действует по всему миру, за исключением Европейского Союза, Великобритании, Южной Кореи и Соединенных Штатов, и устанавливает, что использование за пределами этой территории не санкционировано договором. Кроме того, оно требует получения отдельного письменного разрешения от MiniMax для пользователей, чей годовой доход превышает 1 миллион долларов США, или для тех, кто предоставляет хостинговые услуги третьим сторонам. Также коммерческим продуктам предписывается отображать надпись «MiniMax-H3-Image» в своем интерфейсе.

Этот релиз последовал за более ранним выпуском MiniMax открытых весов для видео и аудио, основанных на модели H3.

Популярное