UNISOC представила UniSwap Ultra Engine для управления памятью смартфонов с флэш-памятью
Подробнее
Pandaily
pandaily.com

UNISOC представила UniSwap Ultra Engine для управления памятью смартфонов с флэш-памятью

Компания UNISOC анонсировала UniSwap Ultra Engine — систему управления памятью для смартфонов, которая объединяет планирование на уровне чипа, сжатую память и механизм подкачки на основе флэш-памяти. Эта технология была представлена 20 ноября, а китайские отчеты на следующий день подробно описали ее архитектуру и лабораторные результаты.

Механизм использует хранилище UFS для расширения объема памяти, доступного приложениям, когда физическая оперативная память (RAM) ограничена. Важно отметить, что это техника виртуальной памяти, а не установка дополнительной DRAM. Например, смартфон с 4 ГБ физической оперативной памяти не превратится автоматически в устройство с 6 ГБ физической оперативной памяти только за счет использования части хранилища для подкачки.

Согласно заявлениям UNISOC, смартфон с 4 ГБ, использующий эту схему, может достигать повседневной плавности работы, сравнимой с традиционной моделью на 6 ГБ. Кроме того, компания сообщает о снижении системной задержки на 20% и улучшении удержания приложений в фоновом режиме на 20%. Эти показатели прямо приписываются лабораторным испытаниям UNISOC, а не независимым тестам устройств.

Структура и принципы работы движка

Система описывается тремя уровнями. На уровне системы на кристалле (SoC) контроллеры качества обслуживания ЦП и DDR регулируют пропускную способность, частоту и время доступа в ответ на изменения рабочей нагрузки. Для уменьшения задержек при перемещении данных между памятью и хранилищем используются оптимизации контроллера UFS, оптимизация физического интерфейса, приоритетный доступ и предварительная выборка данных.

Программный уровень отвечает за сжатие памяти, занятой фоновыми приложениями, и динамическое распределение этого сжатого объема между ZRAM и UFS. Он также управляет жизненными циклами приложений и процессом освобождения памяти. Целью этого является минимизация необходимости полной перезагрузки приложений, когда пользователи переключаются между мессенджерами, видео, играми и другими задачами.

Третий уровень включает сотрудничество с производителями накопителей относительно характеристик флэш-памяти, прошивки и координации файловой системы. UNISOC утверждает, что индивидуально разработанные решения UFS учитывают требования к выносливости и задержке при многократном трафике подкачки. Однако анонс не содержит независимых измерений долговечности, подтверждающих аналогичную пользу для всех типов накопителей.

Эти заявления касаются согласования существующих ресурсов памяти и хранения, а не представления нового устройства или доказательства приобретения флэш-памятью физических свойств DRAM. Фактические результаты будут зависеть от типа рабочей нагрузки приложения, поведения сжатия, аппаратного обеспечения хранения и интеграции устройства. Приведенный анонс не предоставляет полного списка телефонов, которые будут использовать эту технологию, и не предлагает воспроизводимого протокола для стороннего сравнения. Конкретный вклад заключается в описанном подходе к интеграции чипа и программного обеспечения; процентные улучшения и опыт остаются результатами, заявленными вендором.

Похожие сюжеты

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах
Подробнее
pandaily.com

Tencent выпустила для скачивания веса модели Hy4 flash в трех вариантах

Компания Tencent опубликовала доступные для скачивания веса модели Hy4 flash после того, как 16 ноября было объявлено об API этой модели. Об этом сообщило издание IT Home 18 ноября. Данное обновление представляет собой возможность получить развертываемые контрольные точки, а не повторное представление спецификаций и ценообразования API, которые ранее освещались Pandaily.

Официальная карточка модели Tencent перечисляет три версии: Hy4 flash, которая является моделью с настройкой инструкций; Hy4 flash-FP8, ее квантованная версия с настройкой инструкций; и Hy4 flash-base, предварительно обученная базовая модель. Базовый контрольный пункт предназначен для дальнейшего обучения, а не для замены вариантов, готовых к работе с чатом.

Pandaily проверила все три официальных репозитория на Hugging Face. Файлы индекса весов ссылались на доступные списки шардов, а анонимные запросы байтового диапазона возвращали данные файлов весов для каждой версии. Эти проверки подтверждают наличие возможности загрузки, но не являются полными загрузками контрольных точек или успешными тестами вывода.

Стандартный контрольный пункт содержит около 440,5 ГБ тензорных данных, в то время как для FP8 это составляет примерно 287,1 ГБ. Эти размеры относятся к данным весов, а не к минимальным требованиям к памяти GPU. Квантование уменьшает объем хранения, но не превращает релиз в модель для небольших потребительских устройств.

Документация по развертыванию является важной частью этого выпуска. Tencent предоставляет специализированные образы контейнеров vLLM и SGLang, включая примеры использования тензорного параллелизма восьмиway. Инструкции для Transformers указывают на запрос на поддержку модели, а не предполагают, что стандартный выпущенный пакет уже поддерживает данную архитектуру.

Рецепт vLLM также требует оперативной памяти хоста, поскольку таблицы Engram по умолчанию выгружаются в память ЦП. Начальная конфигурация использует контекст размером 8192 токена; заявленная моделью емкость в 1 миллион токенов не гарантирует, что каждая аппаратная конфигурация сможет обслуживать такую длину. Опубликованные подсказки по памяти являются оценками, а не измеренными минимальными требованиями.

Контрольные точки используют лицензию Tencent Hy 1.0, которая прямо указывает, что она не является Apache 2.0, несмотря на то, что была производна от нее. Раздел 10 требует отдельной письменной лицензии для операторов модели как услуги, чей совокупный мировой доход превышает 50 миллионов долларов США в течение последовательного 12-месячного периода, или для использования модели в продукте или сервисе с более чем 100 миллионами активных пользователей в месяц. Применяется узко определенное исключение для внутреннего использования, когда модель и ее результаты не предоставляются третьим сторонам.

Таким образом, данный выпуск лучше всего описать как открытый по весам в соответствии с заявленными условиями Tencent, а не как неограниченно разрешенный открытый исходный код. Tencent сообщает, что выпуск весов более крупной модели Hy4 все еще готовится.

D-Robotics и Infinigence AI интегрировали открытые инструменты робототехники в чипы Sunrise
Подробнее
pandaily.com

D-Robotics и Infinigence AI интегрировали открытые инструменты робототехники в чипы Sunrise

D-Robotics и Infinigence AI объявили о соглашении, согласно которому набор инструментов открытого кода для воплощенного искусственного интеллекта будет интегрирован с чипами Sunrise от D-Robotics и ее программной платформой RoboGo. Это было объявлено обеими компаниями 13 ноября.

Сообщается, что некоторые компоненты уже работают совместно, что позволяет разработчикам выполнять полный цикл работ: обучать модели, управлять устройствами, запускать агентов и развертывать их на аппаратном обеспечении роботов в рамках единого рабочего процесса.

Этот набор инструментов с открытым исходным кодом охватывает четыре стадии разработки роботов. Он был разработан совместно Университетом Цинхуа и Infinigence AI.

D-Robotics отвечает за предоставление аппаратного обеспечения и платформы. Ее чипы Sunrise обеспечивают доступ к устройствам и выполнение операций непосредственно на борту, в то время как RoboGo занимается управлением средой, планированием задач и мониторингом времени выполнения.

Согласно заявлениям компаний, интеграция уже продемонстрировала результаты: разработчики могут выбрать среду обучения в RoboGo, удаленно управлять и вызывать периферийное оборудование, а также проводить обучение моделей, выполнение агентов и тестирование с обратной связью от оборудования в рамках одного процесса.

Данное объявление расширяет ранее показанные обеими сторонами работы. Infinigence AI открыла исходный код APXInf в сентябре, используя оптимизированную модель Pi0.5 для NVIDIA Jetson Thor, а адаптация S600 добавила отечественный чип робота в свои целевые решения. D-Robotics ранее объединяла сторонние модели роботов с Sunrise S600, включая GigaBrain-0.7 от GigaAI.

Ни одна из компаний не опубликовала показателей производительности для объединенного рабочего процесса и не сообщила, когда больше моделей Sunrise будут поддерживать APXInf.

Google выпустил TPU 8tx и TPU 8i Max для защиты данных и увеличения памяти в ИИ
Подробнее
olhardigital.com.br

Google выпустил TPU 8tx и TPU 8i Max для защиты данных и увеличения памяти в ИИ

Google представил две новые системы чипов искусственного интеллекта (ИИ) под названиями TPU 8tx и TPU 8i Max, которые представляют собой расширение восьмого поколения его процессоров. Одно из этих новых устройств разработано специально для обеспечения защиты данных во время обработки, а другое создано для управления большими объемами информации, используемой агентами ИИ.

С этими выпусками корпорация теперь предлагает четыре системы TPU восьмого поколения за один год, причем каждая из них предназначена для различных потребностей в обучении и выполнении моделей. Эти устройства дополняют TPU 8t и TPU 8i, которые были представлены в апреле на мероприятии Google Cloud Next.

TPU 8t ориентирован на обучение крупномасштабных моделей, а TPU 8i предназначен для задач, требующих быстрого реагирования. По данным Google, эти новые чипы обеспечивают до 2,7-кратного прироста производительности при обучении и демонстрируют соотношение цены и производительности при инференсе на 80% выше, чем у предыдущего поколения, соответственно.

TPU 8tx предназначен для компаний и государственных учреждений, которым необходимо обрабатывать конфиденциальную информацию без риска ее раскрытия в процессе вычислений. В свою очередь, TPU 8i Max разработан для приложений, требующих одновременного анализа огромных объемов данных, таких как агенты ИИ, изучающие обширный код или длинные видеозаписи.

TPU 8tx интегрирует функции конфиденциальных вычислений непосредственно в свое оборудование. Это позволяет данным и внутренней информации моделей оставаться в безопасности даже при использовании системой. Эта функция подходит для организаций, работающих с частными данными или которым необходимо соблюдать очень строгие нормы безопасности.

Это устройство использует ту же технологию обработки, что и TPU 8t, но сочетает ее с процессорами AMD EPYC пятого поколения и сетью Boardfly. Google сообщил, что это сочетание обеспечивает время отклика вдвое меньшее, чем у TPU 8t, без существенного снижения производительности.

Архитектура также поддерживает адаптацию моделей ИИ с использованием частных данных, создание уменьшенных версий из более крупных моделей и обучение агентов без необходимости передачи информации между различными наборами серверов.

TPU 8i Max объединяет два чипа TPU 8i в одну физическую структуру, что дает ему вдвое большую вычислительную мощность и объем памяти по сравнению со стандартной моделью. Кроме того, Google отметил, что эта система концентрирует вдвое больше вычислительных компонентов в одном корпусе стоек, что обеспечивает большую вычислительную мощность в центрах обработки данных.

В дополнение к оборудованию компания представила инструменты для помощи разработчикам. TorchTPU, выпущенный с открытым исходным кодом, позволяет запускать приложения, разработанные с использованием PyTorch и моделей Hugging Face, на TPU без необходимости переписывания кода. Другой инновацией является TPU Sync, который улучшает связь между чипами, серверами и системами хранения данных, оптимизируя доступ к информации, которую ИИ повторно использует при генерации ответов. Google заявил, что это может сократить время передачи этих данных и ожидания первого слова или части ответа более чем на 90%.

Наконец, Cloud Pathways стал общедоступным в Google Kubernetes Engine (GKE). Этот инструмент упрощает координацию нескольких наборов процессоров TPU как единого блока, что облегчает выполнение задач, требующих высокой вычислительной мощности.

Google сообщил, что около 100 клиентов уже используют его TPU, включая лаборатории ИИ, финансовые учреждения, розничных продавцов и университеты. Сама компания использует инструменты искусственного интеллекта, такие как AlphaChip и Gemini, для ускорения разработки собственных процессоров.

Популярное