Содержание
Что изменилось в Transformers 5.23
13 ноября Hugging Face выпустила Transformers 5.23.0. Разработчики получили обновлённую систему экспорта AI-моделей: единый объект ExportedModel для сохранения, загрузки и выполнения подготовленных моделей в разных средах. Версия уже доступна через PyPI, однако сами экспортёры пока имеют экспериментальный статус.
Один интерфейс для разных сред выполнения
Новый механизм объединяет Dynamo, ONNX Runtime, OpenVINO и ExecuTorch. Экспортированная модель вызывается с теми же именованными аргументами и возвращает тот же класс ModelOutput, что и исходная. Вычисления при этом выполняет выбранная среда, а не обычный режим PyTorch.
Пакет можно сохранить локально или отправить на Hugging Face Hub. Вместе с программой сохраняются конфигурация модели и манифест export.json: формат экспорта, формы входов, версии пакетов и имена входных и выходных данных. Это делает результат переносимым артефактом, а не только промежуточным файлом конвертации.
Экспортёры находятся непосредственно внутри Transformers. По объяснению разработчиков, так поддержку новых архитектур, механизмов внимания и типов кэша проще согласовывать с основным кодом моделей.
Ускорение зависит от модели и оборудования
В релизе появились оптимизации графов для ONNX Runtime и OpenVINO. Например, в тесте Hugging Face на EmbeddingGemma2 с пакетом из восьми последовательностей по 128 токенов ONNX Runtime с TensorRT на A100 оказался в 7,6 раза быстрее обычного выполнения PyTorch, но лишь в 1,4 раза быстрее torch.compile. Это результаты конкретной конфигурации, а не универсальное ускорение любой модели.
Практическая область применения — перенос инференса на выбранный CPU, GPU или локальное устройство с сохранением привычного интерфейса модели. Поддержка формата сама по себе не уменьшает объём весов и не отменяет требования модели к памяти.
Совместимость и незавершённые возможности
Обновление меняет API: export() теперь возвращает ExportedModel, а прежние параметры output_path у OnnxConfig и OpenVINOConfig заменены сохранением через save_pretrained(). Для существующих пайплайнов это несовместимое изменение.
Документация отдельно предупреждает о зависимости экспериментальных экспортёров от версий PyTorch и библиотек выбранной среды. FlashAttention и FlexAttention пока не экспортируются ни в один из перечисленных форматов. Экспорт многокомпонентной авторегрессионной генерации описан, но запуск такого пакета целиком через ExportedModel ещё не работает: это не готовая замена всему циклу генерации текста.
Помимо экспорта, релиз добавляет поддержку архитектур Inkling 2 Small, LFM3, LFM3-VL и Dots 3 Note Preview, а также экспериментальную систему решений JEV. Речь о поддержке в библиотеке, а не об одновременном выпуске всех этих моделей. Для Inkling 2 Small в документации подтверждена только версия весов MXFP8.
Где попробовать
Transformers 5.23.0 опубликована на PyPI; минимальная версия Python — 3.11. Условия подключения сред выполнения и примеры доступны в документации экспортёров именно для этой версии. Это библиотека для собственного окружения, а не облачный сервис с бесплатной вычислительной квотой. У выбранных моделей могут быть отдельные лицензии и ограничения доступа.
Официальный источник: release notes Transformers v5.23.0. Ограничение поддержки Inkling 2 Small уточняется в карточке архитектуры.
Как проверить экспорт в своём окружении
Подготовить отдельное окружение
Создайте виртуальное окружение с Python 3.11 или новее и установите transformers==5.23.0. Выберите зависимости нужного экспортёра из раздела Installation в документации версии 5.23.0.
Начать с небольшой модели
Возьмите пример Qwen/Qwen3-0.6B из официальной документации. Загрузите модель и токенизатор и подготовьте короткий текстовый вход: так проще отделить проблему экспорта от нехватки памяти.
Выбрать среду выполнения
Для проверки ONNX используйте OnnxExporter и OnnxConfig из раздела Export a model. Для OpenVINO или ExecuTorch выберите соответствующий пример с его собственными зависимостями.
Проверить сохранение и повторный запуск
Сохраните результат через save_pretrained(), загрузите его с помощью ExportedModel.from_pretrained() и сравните выходы и задержку с исходной моделью на одинаковых входных данных.