НовостьНейросетиMicrosoftOpen Source

Microsoft добавила гибридный запуск MoE на CPU и GPU в ONNX Runtime 1.32

В ONNX Runtime 1.32 появился гибридный режим для поддерживаемых квантованных MoE-моделей: эксперты могут исполняться на CPU и GPU. Microsoft также ускорила создание сессий на больших графах и добавила ONNX opset 28. Релиз и пакеты уже доступны разработчикам.

Ирина Видяшкина

14.11.2026 · 4 минут чтения · Нейросети

Microsoft Onnx Runtime 1 32 Hybrid Moe Cover

Содержание

Что изменилось в ONNX Runtime 1.32

Microsoft выпустила ONNX Runtime 1.32.0 — движок для запуска AI-моделей в приложениях. Релиз опубликован 13 ноября, а пакеты и готовые сборки уже доступны разработчикам. Главное дополнение — гибридное исполнение поддерживаемых MoE-моделей на центральном процессоре и видеокарте.

Эксперты MoE могут работать на разных устройствах

В моделях Mixture of Experts вычисления распределяются между отдельными «экспертами». Новый планировщик ONNX Runtime управляет их размещением и бюджетом памяти в рамках одной сессии. В релизе предусмотрены CPU-ядра с AVX2 и AVX-512, а также хранение экспертов в файлах с отображением в память.

Гибридный режим относится к операторам QMoE с квантованием NVFP4, INT4, INT3 и INT2, а также к моделям с оператором MoEPacked. Это инструмент для разработчиков, которым нужно распределять поддерживаемую MoE-нагрузку между CPU и CUDA GPU, а не обещание запустить любую большую модель на любой видеокарте. Формат графа, ядра и настройки памяти по-прежнему имеют значение.

Большие графы быстрее готовятся к работе

Команда устранила узкие места в планировании выделения памяти, работе с константами и сортировке графа. По данным release notes, создание сессий для насыщенных константами графов примерно на 100 тысяч узлов сократилось с минут до секунд. Речь именно об инициализации на таких графах, а не о сопоставимом ускорении генерации токенов у всех моделей.

При загрузке внешних весов в GPU-память добавлена конвейерная подготовка данных в закреплённой памяти. Новые API позволяют запрашивать ёмкость памяти устройства, а Python получил интерфейсы работы с пакетами моделей.

Новые операторы и изменения совместимости

Версия интегрирует ONNX 1.23.2 и поднимает поддерживаемый opset — версию набора операторов — до 28. В числе дополнений для генеративных моделей есть Kimi Delta Attention и операторы работы с упакованными квантованными весами. Наличие таких операторов само по себе не означает готовую поддержку каждого исходного чекпойнта.

У обновления есть несовместимые изменения: удалён провайдер Arm Compute Library, а прежняя встроенная интеграция TensorRT RTX заменена отдельным плагином. Microsoft отдельно отмечает, что несовпадение схем дополнительных операторов в ядре и плагине может приводить к неверному исполнению или сбою. Это особенно существенно для приложений с собственными сборками runtime.

Где попробовать

Открытый релиз, исходники и архивы для разных платформ опубликованы в репозитории Microsoft. Python-пакет 1.32.0 доступен на PyPI; официальный путь подключения описан в руководстве по Python. CPU-пакет позволяет проверить обычный ONNX-инференс, но не заменяет GPU-сборку и настройку совместимой MoE-модели для гибридного режима.

Обложка — официальная схема архитектуры ONNX Runtime. Она показывает общий механизм исполнения на CPU и GPU, а не отдельную схему нового MoE-планировщика.

Как проверить релиз на своём проекте

Подготовьте отдельное окружение

Для Python-пакета 1.32.0 требуется Python 3.11 или новее. Создайте тестовое виртуальное окружение, чтобы не менять зависимости рабочего приложения.

Установите CPU-пакет нужной версии

Для базовой проверки выполните python -m pip install onnxruntime==1.32.0. Не устанавливайте CPU- и GPU-пакеты одновременно в одно окружение.

Запустите свою ONNX-модель

Используйте пример InferenceSession из официального руководства и реальные входные данные модели. Сравните результаты и время создания сессии с прежней версией.

Отдельно проверьте GPU-конфигурацию

Для гибридного MoE нужен совместимый граф и GPU-конфигурация из release notes. Проверяйте используемые провайдеры, версии плагинов и расход памяти на тестовой нагрузке до переноса в рабочее приложение.

Доступность и ограничения

Нет. Версия 1.32.0 опубликована в открытом репозитории Microsoft, готовые архивы доступны на GitHub, а Python-пакет — на PyPI.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости