НовостьНейросетиAWSNVIDIA

AWS подключила NVIDIA Dynamo к HyperPod — для запуска AI-моделей на нескольких серверах

Управляемая интеграция NVIDIA Dynamo в SageMaker HyperPod разделяет обработку промптов и генерацию ответов, учитывает KV-кэш и помогает распределять большие модели между GPU-серверами.

Ирина Видяшкина

18.11.2026 · 4 минут чтения · Нейросети

Aws Sagemaker Hyperpod Nvidia Dynamo Managed Inference Cover

Содержание

NVIDIA Dynamo в HyperPod: распределённый инференс и условия доступа

Amazon SageMaker HyperPod Inference получил управляемую интеграцию с NVIDIA Dynamo. Разработчики, которые обслуживают языковые модели на GPU-кластерах AWS, могут распределять одну модель между несколькими серверами, отдельно масштабировать обработку входных запросов и генерацию ответа и направлять запросы с учётом уже рассчитанного KV-кэша. О доступности интеграции AWS сообщила 17 ноября в официальном техническом разборе.

Что изменилось в запуске больших моделей

У больших моделей есть две разные проблемы: веса могут не помещаться в памяти одного сервера, а обработка длинного промпта конкурирует за GPU с генерацией следующих токенов. Dynamo добавляет слой координации поверх движков инференса. Он поддерживает как обычную схему, где обе стадии выполняются одним исполнителем, так и раздельные пулы для prefill — обработки входного текста — и decode — генерации ответа.

В раздельной конфигурации пулы можно масштабировать независимо. Каждый загружает полные веса модели, а состояние KV-кэша передаётся между ними через сеть Elastic Fabric Adapter. Поэтому разделение стадий не означает, что суммарный объём памяти для весов уменьшится. Оно позволяет по-другому распределить вычисления и настроить ресурсы под характер нагрузки.

Маршрутизатор учитывает совпадение префикса запроса с KV-кэшем и текущую занятость исполнителей. Для AI-агентов с повторяющимися системными инструкциями это может сократить повторную обработку одинакового текста. Но запрос не обязан попасть на сервер с самым большим кэшем: высокая текущая нагрузка тоже влияет на выбор.

Что берёт на себя HyperPod

Дополнение HyperPod Inference устанавливает определения ресурсов Dynamo и связанные компоненты оркестрации. В связке участвуют HyperPod Inference Operator, оператор Dynamo, Grove и KAI Scheduler. Они отвечают за развёртывание endpoint, описание графа исполнителей и согласованное размещение связанных GPU-процессов. HyperPod проверяет состояние узлов, GPU и EFA и управляет заменой неисправных узлов; компоненты оркестрации пересоздают затронутые исполнители.

Для существующих пользователей Dynamo предусмотрен путь с собственным DynamoGraphDeployment. В нём команда сохраняет прямой контроль над графом обслуживания и самостоятельно настраивает endpoint, TLS, регистрацию и масштабирование. Альтернативный путь — InferenceEndpointConfig с разделом dynamoSpec: он даёт управляемую настройку endpoint и поддерживает автоматическое масштабирование через KEDA. В этом варианте оператор также подготавливает веса из Amazon S3 или Amazon FSx.

Интеграция работает с vLLM, SGLang и TensorRT-LLM; в конфигурации InferenceEndpointConfig движком по умолчанию служит vLLM. Поддерживаемые версии компонентов согласованы в дополнении HyperPod: обновление самого Dynamo в этой связке проходит через обновление дополнения, а не произвольную замену отдельных частей.

Что показали тесты AWS

В тесте Qwen3-235B-A22B-FP8 на двух серверах p5en.48xlarge с 16 H200 раздельное обслуживание достигло 207 выходных токенов в секунду на GPU против 101 у совмещённого варианта. AWS сравнивала лучшие измеренные точки, которые одновременно укладывались в P90 времени до первого токена менее секунды и давали медианную скорость не ниже 50 токенов в секунду на пользователя. Размер запроса составлял 4000 входных и 200 выходных токенов.

Получившиеся 2,05 раза — результат конкретного сравнения, а не обещание ускорить любую модель вдвое: лучшие точки соответствовали разному числу одновременных запросов — 80 и 32. На выигрыш влияют длина промптов, повторное использование префиксов, движок и конфигурация GPU.

В отдельной проверке Qwen3.5-397B-A17B-FP8 распределение восьми активных H200 между двумя серверами сохранило 99,1% пропускной способности односерверного варианта. AWS отдельно оговаривает: эта модель помещается на одном сервере и была выбрана как контролируемый пример для оценки накладных расходов межсерверной границы.

Где попробовать

Интеграция предназначена для команд с доступом к Amazon SageMaker HyperPod и кластеру под управлением Amazon EKS. Нужны подходящие GPU-ресурсы, права IAM для настройки кластера и доступ через kubectl. AWS описывает установку оператора через консоль или AWS CLI в руководстве по подготовке HyperPod к развёртыванию моделей. Доступ к конкретным весам и условия их лицензии проверяются отдельно.

Официальные описания развёртывания и параметров интеграции приведены в материале AWS; код Dynamo доступен в репозитории разработчика. Для оценки поведения на собственной нагрузке NVIDIA предоставляет AIPerf. Бесплатный тестовый доступ именно к этой интеграции в анонсе не заявлен.

Как проверить интеграцию на своём кластере

Подготовьте доступ к HyperPod

Проверьте наличие HyperPod-кластера с оркестрацией Amazon EKS, GPU для выбранной модели, необходимых прав IAM и настроенного kubectl. Для межсерверного запуска учтите требования к EFA.

Установите поддерживаемое дополнение

Откройте кластер в консоли SageMaker AI, перейдите на вкладку Inference и используйте Quick Install или Custom Install по руководству AWS. Для существующей установки проверьте версию дополнения с поддержкой Dynamo.

Опишите развёртывание модели

Выберите собственный DynamoGraphDeployment или InferenceEndpointConfig с dynamoSpec. Укажите доступные веса, движок, число реплик и совмещённую либо раздельную схему. Фрагменты YAML из статьи AWS не заменяют полный манифест.

Проверьте endpoint на своей нагрузке

После готовности SageMaker endpoint отправьте тестовый запрос через SageMaker Runtime. С помощью AIPerf измерьте время до первого токена и пропускную способность на типичных промптах, а не переносите результат AWS без проверки.

Коротко о параметрах Dynamo в HyperPod

Это число реплик исполнителей модели. Число реплик frontend задаётся отдельно параметром frontend.replicas.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости