Содержание
Cosmos-H-Dreams превращает генеративное видео в интерактивный тренажёр для роботов
NVIDIA вместе с исследователями представила Cosmos-H-Dreams — открытую генеративную модель, которая в реальном времени симулирует работу хирургических роботов. Система получает стартовый кадр и поток команд от робота, а затем предсказывает следующие кадры сцены. Разработчик или алгоритм управления может взаимодействовать с такой средой в замкнутом цикле, не запуская каждый эксперимент на дорогом физическом оборудовании.
Около 160 кадров в секунду на одной GPU
В основе релиза лежит более крупная модель Cosmos-H-Surgical-Simulator, обученная показывать последствия движений робота. Для Cosmos-H-Dreams её сжали в причинную модель с небольшим числом шагов генерации и подключили библиотеку FlashDreams. По данным команды, скорость выросла примерно с 10 до 160 кадров в секунду на одной NVIDIA RTX PRO 6000 — этого достаточно для интерактивного управления.
Модель специализировали на настольных задачах с хирургическим роботом dVRK: работе с иглой, наложении швов и завязывании узлов. В обучающие данные включили не только удачные демонстрации, но и ошибки — падения иглы, промахи и неудачные узлы. Благодаря этому симулятор должен показывать последствия плохих действий, а не только идеальные сценарии.
Зачем хирургическим роботам генеративное видео
Обычная робототехническая симуляция требует вручную описывать объекты и физику их взаимодействия. Для хирургии это особенно сложно: ткани деформируются, инструменты перекрывают обзор, поверхности бликуют, а иглы и нити постоянно меняют положение. World model учится динамике прямо по синхронизированным видео и телеметрии робота, поэтому может быстрее создавать новые тренировочные ситуации и редкие сбои.
Cosmos-H-Dreams можно связать с браузерным управлением, VR-контроллерами Meta* Quest или обучаемой политикой робота. Команда также показала интеграцию с контроллером хирургической платформы Versius. При этом разработчики подчёркивают: релиз предназначен для исследований и обучения, а не для диагностики или непосредственного управления роботом во время операции.
Код, модель и рецепт обучения открыты
NVIDIA опубликовала код Cosmos-H-Dreams, веса модели, FlashDreams и инструкцию по адаптации симулятора под собственные данные. Для AI-разработчиков ценность релиза шире хирургии: он показывает, как тяжёлую видеомодель можно превратить в быструю интерактивную среду, где агенты учатся на последствиях своих действий почти без задержки.
* Meta Platforms Inc. признана экстремистской организацией и запрещена на территории РФ.