Содержание
JoyAI-Video-Edit превращает AI-монтаж видео в потоковый процесс
Команда Joy Future Academy компании JD открыла код и веса JoyAI-Video-Edit — 16-миллиардной модели для редактирования видео по текстовым инструкциям. В отличие от большинства AI-редакторов, ей не нужно заранее получать целый ролик: система обрабатывает кадры по мере поступления и подходит даже для живого видеопотока.
Что можно менять на лету
JoyAI-Video-Edit умеет заменять и удалять объекты, менять фон, одежду и внешний вид персонажей, переносить видео в другой визуальный стиль и учитывать референсное изображение. Команда показывает сценарии от локальной правки одного объекта до последовательной смены всей сцены без остановки потока.
В основе системы — авторегрессионная диффузионная модель, которая хранит ограниченный контекст последних фрагментов. Такой подход помогает не пересчитывать всё видео заново и снижает накопление артефактов на длинных роликах.
720p и почти 30 кадров в секунду
По тестам разработчиков, полный конвейер достигает 30,19 FPS при разрешении 720×1280 на одной NVIDIA B200. Для генерации каждого фрагмента используются всего два шага диффузии. Авторы также подготовили развёртывание для потребительских видеокарт уровня GeForce RTX 5090, однако для обычного домашнего компьютера модель всё ещё остаётся тяжёлой, а независимых тестов скорости пока нет.
Почему это важно для креаторов
Потоковый AI-монтаж открывает сценарии, которые неудобны для обычных генераторов: эффекты в прямом эфире, виртуальные студии, интерактивные трансляции, быстрые UGC-креативы и обработка длинных видео без разбиения на короткие клипы. Особенно полезна возможность менять инструкцию по ходу ролика, сохраняя движение и композицию исходника.
Код, контрольные веса и онлайн-демо уже опубликованы, проект распространяется по лицензии Apache 2.0. Сейчас это скорее инструмент для исследователей и технических команд, чем готовый массовый редактор, но релиз показывает, как AI-видео движется от медленной пакетной генерации к интерактивной работе с камерой.