NVIDIA и Hugging Face упростили дообучение AI-моделей для изображений и видео

NVIDIA и Hugging Face представили открытую интеграцию NeMo Automodel с библиотекой Diffusers. Она предназначена для команд и разработчиков, которые хотят дообучать генеративные модели под собственный визуальный стиль, продукт или датасет — в том числе модели для картинок и видео.

Главное изменение — модели из Hugging Face Hub можно брать в привычном формате Diffusers и запускать на обучение без отдельной конвертации весов или переписывания пайплайна. Получившийся чекпойнт затем так же открывается в Diffusers и может быть опубликован на Hub.

Какие модели поддерживаются

Готовые рецепты появились для FLUX.1-dev и FLUX.2-dev, Qwen Image, Wan 2.1 и 2.2, а также HunyuanVideo 1.5. Это охватывает и генерацию изображений, и text-to-video. Для части моделей доступно не только полное дообучение, но и LoRA — более экономный способ научить базовую модель нужной эстетике или предметной области.

В примерах авторы показывают, как адаптировать FLUX под набор карт таро, а Wan 2.1 — под заданный видеостиль. Для креативной команды это означает более прямой путь к собственной модели: например, к генератору брендовых предметных кадров, иллюстраций или роликов с устойчивой визуальной подачей.

Почему это важно

Дообучение крупных диффузионных моделей всё ещё требует технической подготовки и мощных GPU, поэтому новинка не превращает процесс в кнопку для любого пользователя. Но она убирает один из болезненных слоёв работы: разрыв между экосистемой Diffusers, форматами чекпойнтов и инфраструктурой для обучения.

NeMo Automodel добавляет распределённое обучение, кеширование латентов и работу с разными разрешениями. Авторы заявляют, что переключение между схемами параллелизации теперь задаётся конфигурацией, а не переписыванием кода. Это особенно полезно студиям и продуктовым командам, которые начинают с LoRA на одной машине, а затем хотят масштабировать обучение.

Где попробовать

Интеграция распространяется с открытым исходным кодом по лицензии Apache 2.0. В Hugging Face уже опубликованы инструкции и готовые конфигурации для запуска; для практического старта потребуются Python-окружение, доступ к совместимому GPU и права на выбранную базовую модель.