Содержание
NVIDIA Dynamo в HyperPod: распределённый инференс и условия доступа
Amazon SageMaker HyperPod Inference получил управляемую интеграцию с NVIDIA Dynamo. Разработчики, которые обслуживают языковые модели на GPU-кластерах AWS, могут распределять одну модель между несколькими серверами, отдельно масштабировать обработку входных запросов и генерацию ответа и направлять запросы с учётом уже рассчитанного KV-кэша. О доступности интеграции AWS сообщила 17 ноября в официальном техническом разборе.
Что изменилось в запуске больших моделей
У больших моделей есть две разные проблемы: веса могут не помещаться в памяти одного сервера, а обработка длинного промпта конкурирует за GPU с генерацией следующих токенов. Dynamo добавляет слой координации поверх движков инференса. Он поддерживает как обычную схему, где обе стадии выполняются одним исполнителем, так и раздельные пулы для prefill — обработки входного текста — и decode — генерации ответа.
В раздельной конфигурации пулы можно масштабировать независимо. Каждый загружает полные веса модели, а состояние KV-кэша передаётся между ними через сеть Elastic Fabric Adapter. Поэтому разделение стадий не означает, что суммарный объём памяти для весов уменьшится. Оно позволяет по-другому распределить вычисления и настроить ресурсы под характер нагрузки.
Маршрутизатор учитывает совпадение префикса запроса с KV-кэшем и текущую занятость исполнителей. Для AI-агентов с повторяющимися системными инструкциями это может сократить повторную обработку одинакового текста. Но запрос не обязан попасть на сервер с самым большим кэшем: высокая текущая нагрузка тоже влияет на выбор.
Что берёт на себя HyperPod
Дополнение HyperPod Inference устанавливает определения ресурсов Dynamo и связанные компоненты оркестрации. В связке участвуют HyperPod Inference Operator, оператор Dynamo, Grove и KAI Scheduler. Они отвечают за развёртывание endpoint, описание графа исполнителей и согласованное размещение связанных GPU-процессов. HyperPod проверяет состояние узлов, GPU и EFA и управляет заменой неисправных узлов; компоненты оркестрации пересоздают затронутые исполнители.
Для существующих пользователей Dynamo предусмотрен путь с собственным DynamoGraphDeployment. В нём команда сохраняет прямой контроль над графом обслуживания и самостоятельно настраивает endpoint, TLS, регистрацию и масштабирование. Альтернативный путь — InferenceEndpointConfig с разделом dynamoSpec: он даёт управляемую настройку endpoint и поддерживает автоматическое масштабирование через KEDA. В этом варианте оператор также подготавливает веса из Amazon S3 или Amazon FSx.
Интеграция работает с vLLM, SGLang и TensorRT-LLM; в конфигурации InferenceEndpointConfig движком по умолчанию служит vLLM. Поддерживаемые версии компонентов согласованы в дополнении HyperPod: обновление самого Dynamo в этой связке проходит через обновление дополнения, а не произвольную замену отдельных частей.
Что показали тесты AWS
В тесте Qwen3-235B-A22B-FP8 на двух серверах p5en.48xlarge с 16 H200 раздельное обслуживание достигло 207 выходных токенов в секунду на GPU против 101 у совмещённого варианта. AWS сравнивала лучшие измеренные точки, которые одновременно укладывались в P90 времени до первого токена менее секунды и давали медианную скорость не ниже 50 токенов в секунду на пользователя. Размер запроса составлял 4000 входных и 200 выходных токенов.
Получившиеся 2,05 раза — результат конкретного сравнения, а не обещание ускорить любую модель вдвое: лучшие точки соответствовали разному числу одновременных запросов — 80 и 32. На выигрыш влияют длина промптов, повторное использование префиксов, движок и конфигурация GPU.
В отдельной проверке Qwen3.5-397B-A17B-FP8 распределение восьми активных H200 между двумя серверами сохранило 99,1% пропускной способности односерверного варианта. AWS отдельно оговаривает: эта модель помещается на одном сервере и была выбрана как контролируемый пример для оценки накладных расходов межсерверной границы.
Где попробовать
Интеграция предназначена для команд с доступом к Amazon SageMaker HyperPod и кластеру под управлением Amazon EKS. Нужны подходящие GPU-ресурсы, права IAM для настройки кластера и доступ через kubectl. AWS описывает установку оператора через консоль или AWS CLI в руководстве по подготовке HyperPod к развёртыванию моделей. Доступ к конкретным весам и условия их лицензии проверяются отдельно.
Официальные описания развёртывания и параметров интеграции приведены в материале AWS; код Dynamo доступен в репозитории разработчика. Для оценки поведения на собственной нагрузке NVIDIA предоставляет AIPerf. Бесплатный тестовый доступ именно к этой интеграции в анонсе не заявлен.
Как проверить интеграцию на своём кластере
Подготовьте доступ к HyperPod
Проверьте наличие HyperPod-кластера с оркестрацией Amazon EKS, GPU для выбранной модели, необходимых прав IAM и настроенного kubectl. Для межсерверного запуска учтите требования к EFA.
Установите поддерживаемое дополнение
Откройте кластер в консоли SageMaker AI, перейдите на вкладку Inference и используйте Quick Install или Custom Install по руководству AWS. Для существующей установки проверьте версию дополнения с поддержкой Dynamo.
Опишите развёртывание модели
Выберите собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec. Укажите доступные веса, движок, число реплик и совмещённую либо раздельную схему. Фрагменты YAML из статьи AWS не заменяют полный манифест.
Проверьте endpoint на своей нагрузке
После готовности SageMaker endpoint отправьте тестовый запрос через SageMaker Runtime. С помощью AIPerf измерьте время до первого токена и пропускную способность на типичных промптах, а не переносите результат AWS без проверки.