Команда Hy компании Tencent представила свои намерения относительно разработки более масштабных моделей и вариантов локального развертывания меньшего размера во время сессии вопросов и ответов на публичном форуме Reddit. Эта дискуссия состоялась ранним утром 21 ноября в Шанхае, после того как на день раньше были выпущены флагманские веса Hy4.
Согласно китайскому сводному изложению ответов, подготовленному Zhidx, команда заявила, что следующая модель Hy будет значительно крупнее, и они продолжат инвестировать средства в обучение с подкреплением в больших масштабах. Важно отметить, что это лишь намерения по развитию, а не анонс нового контрольного пункта, подтвержденного количества параметров или установленной даты выпуска.
В части меньших моделей команда описала Flash-Lite как запланированную работу и обсудила модели, предназначенные для устройств с 24 ГБ памяти GPU. Также в дорожной карте фигурировал Hy4-mini, а рассматривалась плотная модель с параметрами в диапазоне от 24 до 31 миллиарда. Ответы не гарантируют, что все эти продукты являются единым целым или что какая-либо предложенная конфигурация доступна на данный момент.
Требования к аппаратному обеспечению требуют аналогичного внимания. Упоминание о 24 ГБ видеопамяти само по себе не определяет общий объем системной оперативной памяти, квантизацию, длину контекста или достижимую скорость. Эти детали необходимы, прежде чем разработчики смогут рассматривать ответ из дорожной карты как спецификацию для потребительского оборудования, готового к внедрению.
Архитектурное обсуждение касалось компромиссов между механизмом внимания с группировкой запросов (GQA) и многоголовочным латентным вниманием (MLA). Как обобщил Zhidx, команда отметила, что MLA обеспечивает лучшее качество модели при сопоставимом размере кэша ключа-значения, однако его вычислительная интенсивность усложняла декодирование. Внедрение механизма разреженного внимания DSA снизило эту нагрузку и изменило предпочтительный баланс команды.
Команда также предостерегла от предположения, что большая разреженность в архитектуре Mixture-of-Experts всегда улучшает развертывание. Чрезмерно разреженная модель может занимать значительный объем памяти GPU, не используя полностью доступные вычислительные мощности; уменьшение активных параметров при сохранении общего размера также может негативно сказаться на качестве. Эти утверждения являются объяснениями дизайна, а не универсальными результатами бенчмаркинга для каждой реализации.
Первоначальный пост в открытом формате AMA подтверждает проведение сессии и участие лиц, однако детали ответов основаны на китайской компиляции, а не на самостоятельно полученных стенограммах комментариев. Практическая ценность заключается в более ясном представлении приоритетов исследований и инженерных решений, а не в очередном объявлении о том, что веса Hy4 стали доступны для загрузки.



