Команда Hy от Tencent представила планы по созданию более крупных моделей и дорожную карту развертывания на 24 ГБ
Подробнее
Pandaily
pandaily.com

Команда Hy от Tencent представила планы по созданию более крупных моделей и дорожную карту развертывания на 24 ГБ

Команда Hy компании Tencent представила свои намерения относительно разработки более масштабных моделей и вариантов локального развертывания меньшего размера во время сессии вопросов и ответов на публичном форуме Reddit. Эта дискуссия состоялась ранним утром 21 ноября в Шанхае, после того как на день раньше были выпущены флагманские веса Hy4.

Согласно китайскому сводному изложению ответов, подготовленному Zhidx, команда заявила, что следующая модель Hy будет значительно крупнее, и они продолжат инвестировать средства в обучение с подкреплением в больших масштабах. Важно отметить, что это лишь намерения по развитию, а не анонс нового контрольного пункта, подтвержденного количества параметров или установленной даты выпуска.

В части меньших моделей команда описала Flash-Lite как запланированную работу и обсудила модели, предназначенные для устройств с 24 ГБ памяти GPU. Также в дорожной карте фигурировал Hy4-mini, а рассматривалась плотная модель с параметрами в диапазоне от 24 до 31 миллиарда. Ответы не гарантируют, что все эти продукты являются единым целым или что какая-либо предложенная конфигурация доступна на данный момент.

Требования к аппаратному обеспечению требуют аналогичного внимания. Упоминание о 24 ГБ видеопамяти само по себе не определяет общий объем системной оперативной памяти, квантизацию, длину контекста или достижимую скорость. Эти детали необходимы, прежде чем разработчики смогут рассматривать ответ из дорожной карты как спецификацию для потребительского оборудования, готового к внедрению.

Архитектурное обсуждение касалось компромиссов между механизмом внимания с группировкой запросов (GQA) и многоголовочным латентным вниманием (MLA). Как обобщил Zhidx, команда отметила, что MLA обеспечивает лучшее качество модели при сопоставимом размере кэша ключа-значения, однако его вычислительная интенсивность усложняла декодирование. Внедрение механизма разреженного внимания DSA снизило эту нагрузку и изменило предпочтительный баланс команды.

Команда также предостерегла от предположения, что большая разреженность в архитектуре Mixture-of-Experts всегда улучшает развертывание. Чрезмерно разреженная модель может занимать значительный объем памяти GPU, не используя полностью доступные вычислительные мощности; уменьшение активных параметров при сохранении общего размера также может негативно сказаться на качестве. Эти утверждения являются объяснениями дизайна, а не универсальными результатами бенчмаркинга для каждой реализации.

Первоначальный пост в открытом формате AMA подтверждает проведение сессии и участие лиц, однако детали ответов основаны на китайской компиляции, а не на самостоятельно полученных стенограммах комментариев. Практическая ценность заключается в более ясном представлении приоритетов исследований и инженерных решений, а не в очередном объявлении о том, что веса Hy4 стали доступны для загрузки.

Похожие сюжеты

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов
Подробнее
technode.com

Tencent выпустила веса модели Hy4 с контекстным окном в миллион токенов

Компания Tencent в пятницу обнародовала веса своей флагманской модели искусственного интеллекта Hy4, предоставив разработчикам возможность самостоятельно загружать и внедрять эту модель. Этот релиз произошел после первоначального запуска Hy4 4 ноября и делает флагманскую модель доступной под лицензией Apache 2.0, которая разрешает как коммерческое использование, так и модификацию.

Модель Hy4 способна понимать текст, изображения и видео, обладая контекстным окном объемом около одного миллиона токенов. Ее языковой каркас типа 'смесь экспертов' содержит 770 миллиардов параметров, при этом для обработки каждого токена активируется 49 миллиардов параметров.

Согласно заявлению Tencent, данная версия модели превосходит предварительный просмотр Hy4 в таких областях, как следование инструкциям, понимание длинного контекста, выполнение расширенных задач и научные исследования.

Модель поддерживает рабочие процессы, охватывающие графические интерфейсы и инструменты командной строки, а также разработку фронтенда, геймдизайн и офисные задачи. Tencent предоставляет инструкции по развертыванию для vLLM и SGLang, а также ресурсы для тонкой настройки и карту оценки безопасности. Выпуск флагманской модели последовал за отдельным открытием меньшей модели Hy4 flash.

Модель Hunyuan Hy4 flash от Tencent превысила 50 триллионов токенов в первый день использования
Подробнее
technode.com

Модель Hunyuan Hy4 flash от Tencent превысила 50 триллионов токенов в первый день использования

Компания Tencent сообщила, что ее модель Hunyuan Hy4 flash обработала более 50 триллионов токенов всего за первый день после запуска 16 ноября. Этот показатель стал самым высоким среди всех моделей серии Hunyuan за первый день работы.

Сильный старт Hy4 flash также отразился на ее результативности на различных платформах. 17 ноября модель заняла первое место в ежедневном рейтинге LLM на OpenRouter.

Кроме того, Tencent отметила, что на своей платформе WorkBuddy Hy4 flash продемонстрировала в десять раз больший объем использования по сравнению со своим предшественником, Hy4 preview, и помогла выполнить свыше 50 миллионов задач реальных пользователей.

Согласно данным Tencent, Hy4 flash использует гибридную архитектуру активации и имеет общее количество параметров в 224 миллиарда, включая 64 миллиарда параметров Engram, при этом во время инференса активируется 12 миллиардов параметров. Модель также поддерживает мультимодальную обработку и окно контекста до 1 миллиона токенов, а скорость генерации достигает около 200 токенов в секунду.

Особое внимание привлекает баланс между производительностью и стоимостью, который предлагает Hy4 flash. Согласно ценообразованию Tencent, модель стоит всего 0,5 юаня (0,07 доллара) за миллион входных токенов и 2 юаня (0,3 доллара) за миллион выходных токенов, а кешированные входные токены обходятся всего в 0,02 юаня (0,003 доллара) за миллион.

На основе внутреннего бенчмарка WorkIndex от Tencent, оценивающего стандартные офисные задачи, Hy4 flash стоит лишь на тринадцатую часть по сравнению с Hy4 preview и на двадцатую часть по сравнению с Hy4 для выполнения одной задачи. Ее стоимость также составляет примерно одну восьмую от стоимости основных легковесных моделей в той же категории.

Эти преимущества делают модель особенно подходящей для часто выполняемых офисных операций, таких как создание и редактирование презентаций, обработка документов, восстановление электронных таблиц, обработка аудио и видео, а также визуальное понимание.

Запуск произошел после предыдущего всплеска спроса на Hy4. Когда модель впервые появилась на WorkBuddy 4 ноября, спрос, обусловленный ее возможностями агента, превзошел ожидания, и многие пользователи достигли лимитов использования в первый же день. В ответ Tencent увеличила кластеры инференса Hy4 в десять раз и расширила квоты на бесплатное использование.

Однако на этот раз команда, по всей видимости, подготовилась более тщательно к высокой конкурентности перед запуском Hy4 flash, и на данный момент не сообщается о широкомасштабных проблемах с лимитами использования.

Эта разработка также отражает более широкий сдвиг в конкурентной среде индустрии искусственного интеллекта. Поскольку ежедневное использование токенов в Китае продолжает расти, токены становятся все более важным показателем измерения внедрения ИИ. Тем временем местные органы власти по всей стране вводят новые меры, начиная от вычислительной мощности и ваучеров на модели, до финансирования на основе токенов, чтобы сделать услуги ИИ более доступными.

Конкуренция теперь определяется не только количеством параметров или производительностью модели. Обеспечение сильных результатов при сохранении низких эксплуатационных расходов становится столь же важным. Дебют Hy4 flash с 50 триллионами токенов посылает четкий сигнал: рынку нужны не только более мощные модели ИИ, но и модели, достаточно доступные для частого повседневного использования.

Тем не менее, все еще существует разрыв между высоким первоначальным использованием и долгосрочной коммерческой ценностью. Конкуренция среди легковесных моделей ИИ может все больше сводиться не только к ценам и использованию токенов. Реальная задача заключается в предоставлении решений для реальных потребностей бизнеса стабильно и надежно, при этом поддерживая общие затраты на низком уровне. Для Hunyuan от Tencent сильный дебют Hy4 flash является многообещающим началом, но ее способность превратить начальный импульс использования в устойчивую ценность для пользователей станет ключевым испытанием в будущем.

Tencent выпустила веса модели Hy4 flash для локального развертывания
Подробнее
technode.com

Tencent выпустила веса модели Hy4 flash для локального развертывания

Компания Tencent в среду обнародовала веса своей модели искусственного интеллекта Hy4 flash. Этот релиз состоялся через два дня после того, как модель была представлена пользователям через приложения и облачный API компании. Разработчики теперь имеют возможность загрузить стандартную версию модели, ее версию в формате FP8, а также базовую модель для дальнейшего обучения.

Данный выпуск соответствует ранее сделанному заявлению Tencent о планах сделать веса этой модели общедоступными. Модель Hy4 flash способна обрабатывать как текстовый, так и графический ввод, а ее контекстное окно достигает одного миллиона токенов.

Модель обладает приблизительно 224 миллиардами параметров, при этом около 12 миллиардов параметров активируются на каждый токен. Основная цель Hy4 flash — повышение повседневной производительности в таких задачах, как подготовка документов, проведение исследований и работа с электронными таблицами. Tencent сопроводила весами соответствующие материалы для развертывания, распространяя их под лицензией Tencent Hy.

Популярное