Астронавт чуть не утонул в шлеме во время космического полета, что привело к пересмотру мер безопасности NASA

Компания Moore Threads сделала проект Megatron-MUSA-Titan общедоступным, представив инфраструктуру для обучения больших моделей, которую она разработала для использования на собственных графических процессорах. Этот проект предназначен для работы с моделями типа 'смесь экспертов' (mixture-of-experts) с триллионом параметров на кластерах, состоящих из более чем 10 000 GPU от Moore Threads, и охватывает как предварительное обучение, так и обучение с подкреплением.

Код проекта доступен на GitHub. Компания утверждает, что данная система непрерывно использовалась для предварительного обучения MoE с триллионом параметров на кластерах мощностью 10 000 GPU, где длительные сессии обучения обеспечивали высокую утилизацию FLOPs модели и стабильность процесса.

В репозитории представлен пример конфигурации для модели MoE в стиле Kimi-K2 с 1 триллионом параметров. Центральным принципом проектирования стало сохранение близости к существующим решениям. Megatron-MUSA-Titan построен на основе фреймворка Megatron-LM от NVIDIA. Благодаря интеграции PyTorch через torch_musa и совместимости MUSA C с CUDA C, разработчики, имеющие среду MUSA, могут клонировать официальные репозитории Megatron-LM, slime и miles и запускать обучение на GPU Moore Threads без необходимости модификации исходного кода.

Проект указывает, что общие алгоритмы и исправления ошибок следует направлять в вышестоящие проекты, тогда как Moore Threads фокусируется на двух типах изменений: крупномасштабных оптимизациях, адаптированных под оборудование и кластеры Moore Threads, а также на обходных решениях для специфических проблем MUSA.

Функции предварительного обучения включают блочное обучение в формате FP8, которое опирается на MT-TransformerEngine от Moore Threads. Диспетчеризация и объединение токенов MoE ускоряются с помощью DeepEP, работающего поверх Async Copy Engine компании, который также позволяет коммуникации экспертов параллельно с вычислениями. Среди других опций — выгрузка активаций с использованием виртуального параллелизма конвейера и планирование одного прямого прохода и одного обратного прохода, а также параллельная коммуникация конвейера, совмещенная с вычислениями, благодаря Mooncake RDMA.

Инструмент анализа распределенной трассировки считывает трассировки PyTorch с каждого GPU для обнаружения узких мест, таких как пузырьки конвейера и узлы с низкой производительностью. Проект заявляет, что он способен анализировать запуск MoE с 1 триллионом параметров на 10 000 GPU всего за несколько часов.

Для обучения с подкреплением стек поддерживает фреймворки slime и miles; Megatron занимается обучением, а MUSA-сборка SGLang генерирует прогоны, что позволяет одной базовой системе обслуживать как предварительное обучение, так и RL. Оптимизация для автономного инференса не входит в сферу действия данного проекта.

Для разработчиков, рассматривающих отечественные ускорители, практический вопрос заключается в том, какая часть существующего кода обучения останется работоспособной. Ответ Moore Threads состоит в том, что код экосистемы Megatron не требует изменений.

Компания Iluvatar CoreX во время своего медиа-дня, состоявшегося 28 октября в Шанхае, впервые представила общецелевой графический процессор Tiangai 300 в работающем состоянии на реальном оборудовании. До этого момента публичные материалы компании о чипе фокусировались исключительно на архитектуре и дорожной карте, а не на функционирующих системах.

Основным заявлением является сравнение производительности. Iluvatar CoreX утверждает, что Tiangai 300 стал первым отечественным общецелевым GPU, чья измеренная производительность достигает уровня NVIDIA H200. Кроме того, стороннее тестирование, после конвертации данных, показало, что общая пропускная способность одной карты составляет 1.05 раза больше, чем у H200. Важно отметить, что компания не раскрыла методику тестирования, использованные модели или условия рабочей нагрузки, поэтому данный результат пока не может быть проверен независимо.

Этот чип предназначен для внедрения в суперузел IXL144, который ранее был представлен компанией на Китайской международной промышленной ярмарке. Один такой стеллаж IXL144 объединяет 144 GPU, 18 CPU и около 10.1 ТБ памяти GPU, что Iluvatar CoreX называет самым плотным суперузлом GPU в отрасли. По собственным оценкам, такая конфигурация снижает стоимость на миллион эффективных токенов на 40% по сравнению с основными международными решениями.

На открытом дне также была представлена информация о гетерогенном развертывании. Iluvatar CoreX сообщила, что реализовала первую отечественную схему дезагрегации AFD между GPU и XPU, что позволило сократить задержку инференса на 60%. Дезагрегация AFD обычно подразумевает разделение этапов вычислений модели, таких как слои внимания и прямого распространения, между различными типами процессоров, чтобы каждый выполнял ту работу, в которой он наиболее эффективен.

Что касается периферийных устройств, компания заявила, что ее чип Tongyang TY1200 превосходит NVIDIA Thor T5000 в проведенных тестах, опять же без публикации подробностей. TY1200, который ранее был анонсирован с 300 TOPS плотных вычислений для ПК с ИИ и воплощенного интеллекта, также назван первым отечественным периферийным продуктом, способным выполнять симуляцию физики с ускорением GPU на основе MuJoCo-Warp — функция, критически важная для обучения роботов в симуляции.

В целом, эти демонстрации выводят линейку продуктов следующего поколения от Iluvatar CoreX из области бумажных спецификаций к работающим системам. Следующим моментом, за которым стоит следить, станут независимые бенчмарки с раскрытыми рабочими нагрузками.

ISRO намерен запустить свой следующий навигационный спутник, NVS-03, используя ракету-носитель GSLV-F18. Запуск состоится в пятницу, 30 октября, в 23:51 с Второй стартовой площадки в космическом центре Сатиш Дхаван в Срихарিকোте.

NVS-03 является третьим спутником в серии навигационных систем следующего поколения от ISRO.

Четан Кумар, старший ассистент редактора Times of India, специализируется на темах космоса и науки, а также широко освещал вопросы обороны, политики и данных. Он работал в различных регионах, включая Нью-Дели, Хайдарабад, Ченнаи и Срихарീകот (АП), и базируется в Бенгалуру, научном центре Индии, где находится штаб-квартира ISRO.