Признавая отставание отечественных вычислительных систем от ведущих мировых аналогов, iFLYTEK представила стратегию во время своего отчета о доходах 21 августа. Вместо того чтобы ожидать улучшения аппаратного обеспечения, компания решила использовать инженерные разработки для более эффективного использования имеющихся чипов.
Генеральный директор Лю Цинфэн признал, что компания казалась незаметной в недавней волне, сосредоточенной на коде и агентах, частично из-за того, что ограничения отечественных вычислений сильно ограничивают возможность создания очень длинных контекстных окон. iFLYTEK отмечает, что ее отечественные ускорители отстают от Nvidia H200 по эффективности обучения примерно в пять раз, причем это отставание наиболее заметно при обучении на контексте, превышающем 256 тысяч токенов.
Однако, по мнению Лю Цинфэна, в сферах образования, здравоохранения, автомобилестроения и государственных предприятий 90%–95% сценариев использования не требуют контекста в миллионы токенов. Поэтому компания занимается оптимизацией архитектуры моделей, операторов, коммуникаций, памяти и фреймворков для обучения. Были успешно проверены методы инференса с длинными последовательностями, а также построена полная отечественная цепочка от чипа до модели и приложения.
Этот подход находит отражение в продуктовой линейке компании: в феврале был запущен Spark X2, а в апреле Spark X2-Flash стал первой моделью типа Mixture-of-Experts с 30 миллиардами параметров, полностью обученной и развернутой на кластерах Huawei Ascend 910B. В июне последовал мультимодальный Spark X2-VL, а к концу августа ожидается новый флагманский генеративный отечественный продукт на ежегодном Фестивале разработчиков 1024.
Инженерный фокус выходит за рамки только моделей. В июле iFLYTEK получила национальную первую премию за проект Pengcheng Cloud Brain — крупномасштабный отечественный проект интеллектуальных вычислений, который курирует Pengcheng National Laboratory. С коммерческой точки зрения, выручка от LLM API и MaaS выросла примерно на 70% в годовом исчислении за первое полугодие. Компания применяет стратегию продажи результатов, а не токенов, объединяя облачные модели в триллионном масштабе с моделями для работы на устройствах, вместо того чтобы напрямую конкурировать с самой крупной передовой моделью. Лю утверждает, что такой подход помогает сохранять маржу и фокусировку.
Лю верит, что вычислительное отставание iFLYTEK от отечественных конкурентов выровняется в течение двух лет — возможно, даже превратится в преимущество — по мере созревания экосистем чипов.