Mistral показала Robostral Navigate: AI-навигацию для роботов с одной камеры

Mistral представила Robostral Navigate — свою первую модель для embodied navigation, то есть навигации AI в физическом мире. Это 8B-модель, которая получает изображение с обычной RGB-камеры и текстовую команду вроде: выйти из лобби, пройти по коридору, зайти в кладовую и остановиться у нужной полки.

Главная деталь релиза: Robostral Navigate не требует LiDAR, датчиков глубины или набора камер. По данным Mistral, модель набрала 76,6% success rate на R2R-CE validation unseen — тесте, где нужно следовать инструкциям в незнакомых окружениях. Компания говорит, что это на 9,7 пункта лучше предыдущего single-camera подхода и на 4,5 пункта выше лучшей системы с глубиной или несколькими камерами.

Как это работает

Модель предсказывает следующую точку движения через pointing: она выбирает координаты цели прямо на текущем изображении с камеры и определяет нужную ориентацию робота. Если цель находится вне поля зрения, Robostral Navigate переключается на локальные команды перемещения, например пройти вперед, сместиться в сторону и повернуть на заданный угол.

Mistral обучала модель полностью внутри компании, без опоры на готовые open-source VLM. Для данных использовали симуляцию: около 400 тысяч траекторий в 6 тысячах сцен. Отдельно компания выделяет prefix-caching, который позволил обучать целые эпизоды эффективнее и сократить число тренировочных токенов в 22 раза.

Почему это важно

Для обычных пользователей это пока не новая кнопка в чат-боте, а технологический релиз. Но для бизнеса и разработчиков робототехники новость заметная: если роботу действительно хватает одной камеры и текстовой инструкции, внедрение в офисах, доставке, логистике, производстве и сервисных сценариях становится дешевле и проще.

Для рынка AI это еще один сигнал, что крупные модели выходят за пределы текста, картинок и видео в сторону агентов, которые действуют в реальном мире. Mistral прямо называет навигацию базовой способностью для будущего универсального embodied agent.

Что дальше

Robostral Navigate пока выглядит как исследовательско-продуктовый шаг для команд, которые строят роботов и автономные системы. Mistral предлагает компаниям связываться с ее командой, а также расширяет robotics-направление. Если технология будет доступна шире, она может стать важной частью AI-инфраструктуры для физических агентов.