НовостьНейросетиHugging FaceOpen Source

Hugging Face выпустила Transformers 5.23 — экспорт AI-моделей получил единый интерфейс

В Transformers 5.23 появился единый ExportedModel для ONNX Runtime, OpenVINO, ExecuTorch и PyTorch. Разбираем перенос моделей, ускорение и ограничения экспериментального API.

Ирина Видяшкина

14.11.2026 · 4 минут чтения · Нейросети

Hugging Face Transformers 5 23 Exportedmodel Exporters Cover

Содержание

Что изменилось в Transformers 5.23

13 ноября Hugging Face выпустила Transformers 5.23.0. Разработчики получили обновлённую систему экспорта AI-моделей: единый объект ExportedModel для сохранения, загрузки и выполнения подготовленных моделей в разных средах. Версия уже доступна через PyPI, однако сами экспортёры пока имеют экспериментальный статус.

Один интерфейс для разных сред выполнения

Новый механизм объединяет Dynamo, ONNX Runtime, OpenVINO и ExecuTorch. Экспортированная модель вызывается с теми же именованными аргументами и возвращает тот же класс ModelOutput, что и исходная. Вычисления при этом выполняет выбранная среда, а не обычный режим PyTorch.

Пакет можно сохранить локально или отправить на Hugging Face Hub. Вместе с программой сохраняются конфигурация модели и манифест export.json: формат экспорта, формы входов, версии пакетов и имена входных и выходных данных. Это делает результат переносимым артефактом, а не только промежуточным файлом конвертации.

Экспортёры находятся непосредственно внутри Transformers. По объяснению разработчиков, так поддержку новых архитектур, механизмов внимания и типов кэша проще согласовывать с основным кодом моделей.

Ускорение зависит от модели и оборудования

В релизе появились оптимизации графов для ONNX Runtime и OpenVINO. Например, в тесте Hugging Face на EmbeddingGemma2 с пакетом из восьми последовательностей по 128 токенов ONNX Runtime с TensorRT на A100 оказался в 7,6 раза быстрее обычного выполнения PyTorch, но лишь в 1,4 раза быстрее torch.compile. Это результаты конкретной конфигурации, а не универсальное ускорение любой модели.

Практическая область применения — перенос инференса на выбранный CPU, GPU или локальное устройство с сохранением привычного интерфейса модели. Поддержка формата сама по себе не уменьшает объём весов и не отменяет требования модели к памяти.

Совместимость и незавершённые возможности

Обновление меняет API: export() теперь возвращает ExportedModel, а прежние параметры output_path у OnnxConfig и OpenVINOConfig заменены сохранением через save_pretrained(). Для существующих пайплайнов это несовместимое изменение.

Документация отдельно предупреждает о зависимости экспериментальных экспортёров от версий PyTorch и библиотек выбранной среды. FlashAttention и FlexAttention пока не экспортируются ни в один из перечисленных форматов. Экспорт многокомпонентной авторегрессионной генерации описан, но запуск такого пакета целиком через ExportedModel ещё не работает: это не готовая замена всему циклу генерации текста.

Помимо экспорта, релиз добавляет поддержку архитектур Inkling 2 Small, LFM3, LFM3-VL и Dots 3 Note Preview, а также экспериментальную систему решений JEV. Речь о поддержке в библиотеке, а не об одновременном выпуске всех этих моделей. Для Inkling 2 Small в документации подтверждена только версия весов MXFP8.

Где попробовать

Transformers 5.23.0 опубликована на PyPI; минимальная версия Python — 3.11. Условия подключения сред выполнения и примеры доступны в документации экспортёров именно для этой версии. Это библиотека для собственного окружения, а не облачный сервис с бесплатной вычислительной квотой. У выбранных моделей могут быть отдельные лицензии и ограничения доступа.

Официальный источник: release notes Transformers v5.23.0. Ограничение поддержки Inkling 2 Small уточняется в карточке архитектуры.

Как проверить экспорт в своём окружении

Подготовить отдельное окружение

Создайте виртуальное окружение с Python 3.11 или новее и установите transformers==5.23.0. Выберите зависимости нужного экспортёра из раздела Installation в документации версии 5.23.0.

Начать с небольшой модели

Возьмите пример Qwen/Qwen3-0.6B из официальной документации. Загрузите модель и токенизатор и подготовьте короткий текстовый вход: так проще отделить проблему экспорта от нехватки памяти.

Выбрать среду выполнения

Для проверки ONNX используйте OnnxExporter и OnnxConfig из раздела Export a model. Для OpenVINO или ExecuTorch выберите соответствующий пример с его собственными зависимостями.

Проверить сохранение и повторный запуск

Сохраните результат через save_pretrained(), загрузите его с помощью ExportedModel.from_pretrained() и сравните выходы и задержку с исходной моделью на одинаковых входных данных.

Коротко о релизе

Это версия библиотеки Transformers 5.23.0. Она обновляет экспорт и добавляет поддержку нескольких архитектур, но сама не является отдельной языковой моделью.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости