На конференции Advanced Storage Conference (ASC), которая состоялась 22 октября в Шанхае, компания Huawei представила свое решение проблемы, ограничивающей вывод больших моделей: перемещение KV Cache между вычислительными блоками, хранилищем и сетью. Конференция была организована Комитетом по открытым центрам обработки данных (ODCC).
В рамках доклада о слиянии хранилища и сети для новых рабочих нагрузок ИИ, Huawei описала проблему и предоставила результаты лабораторных испытаний. KV Cache служит для сохранения промежуточных результатов внимания, что позволяет модели избегать повторного расчета более ранних токенов. Однако по мере развития агентных приложений, которые требуют очень длинных контекстов и многоходовых взаимодействий, размер этого кэша быстро увеличивается.
Huawei отмечает, что совокупный размер кэша на один запрос, объем кэша, который поддерживается в памяти, и трафик между узлами приводят к тому, что общий объем KV Cache кластера вывода приближается к петабайтному масштабу. Возникающие всплески межузлового трафика кэша создают дополнительную нагрузку на сетевую инфраструктуру центров обработки данных.
Три препятствия, которые видит Huawei
Компания определяет это узкое место через три барьера. С точки зрения вычислений, ядра ускорителей обладают слабой производительностью ввода-вывода, и работа с вводом-выводом отнимает драгоценные вычислительные ресурсы. Что касается задержек, передача данных между слоями проходит через многократные преобразования протоколов и семантики, что усугубляется длительными сетевыми задержками. На уровне IOPS традиционные программные стеки мешают бэкенд-хранилищу достигать своей нативной производительности.
Решение Huawei охватывает три уровня. На стороне ускорителей компания стремится к тому, чтобы процессоры могли напрямую инициировать операции ввода-вывода кэша, переходя от прямого доступа AI CPU и векторных ядер к операциям ввода-вывода на уровне SIMT с высокой детализацией. На стороне хранения данных предлагается спускать операторов до векторного ускорения, близкого к самому хранилищу. А на сетевом уровне используется архитектура Hyper-Converged Fabric (HCF) в рамках Stellar AI Fabric, с настройкой планирования QoS ИИ, скоординированного с конечной сетью, специально для трафика KV Cache. Huawei утверждает, что только сетевой уровень способен повысить производительность ввода-вывода хранилища более чем на 30%.
Основные цифры получены в ходе собственных лабораторных тестов Huawei. Согласно компании, в сценарии модели GLM-5.2 прямой выгрузка KV Cache обеспечила в 7,3 раза большую пропускную способность вывода (TPS) по сравнению с традиционным подходом, основанным на памяти. Дополнительное улучшение эффективности вывода на 20% было достигнуто благодаря согласованию операций ввода-вывода между хранилищем и сетью. При этом Huawei не раскрыла полную конфигурацию тестирования в своем объявлении.
Stellar AI Fabric и архитектура HCF были представлены на мероприятии HUAWEI CONNECT 2026 в сентябре. Доклад на ASC не знаменует собой запуск нового продукта; его ценность заключается в представлении первого набора данных по KV Cache, связанных с этой конструкцией, а также работы Huawei OceanStor по хранению общего контекста памяти для кластеров ИИ.
