НовостьНейросетиAWSSageMaker

AWS научила SageMaker переключать AI-запросы между регионами при нехватке GPU

В SageMaker AI появился межрегиональный маршрутизатор инференса. Он переносит запросы на здоровые endpoints при перегрузке и ошибках, но не создаёт резервные мощности и сам зависит от своего региона.

Ирина Видяшкина

19.11.2026 · 3 минут чтения · Нейросети

Aws Sagemaker Cross Region Inference Routing Cover

Содержание

Один маршрут к модели в нескольких регионах AWS

Amazon Web Services 18 ноября добавила в SageMaker AI межрегиональную маршрутизацию инференса. Разработчики, которые уже размещают модель в нескольких регионах AWS, могут направлять запросы через единый inference router: при нехватке мощности или ошибках на локальном endpoint он переносит часть нагрузки на доступные резервные площадки. Поддерживаются и endpoints в других AWS-аккаунтах.

Что берёт на себя маршрутизатор

Раньше команде требовалось самостоятельно поддерживать выбор региона, оценку состояния endpoints и логику переключения. Новый маршрутизатор предпочитает ресурсы в собственном регионе. Когда растёт число серверных ошибок, отказов из-за перегрузки или тайм-аутов, он постепенно перераспределяет новые запросы на здоровые ресурсы в других регионах. После восстановления локального endpoint трафик возвращается тоже постепенно.

Это не балансировка по минимальной задержке: медленные, но успешные ответы сами по себе не вызывают переключение. Ошибки в содержимом запроса также не служат сигналом для переноса нагрузки. Повторная попытка на другом ресурсе предусмотрена только в определённых случаях, например при отклонении запроса до запуска модели; тайм-ауты не повторяются автоматически.

Для каких задач это подходит

Сценарий — собственный AI-сервис, у которого одна и та же модель уже развёрнута на нескольких площадках. Если основной endpoint не может нарастить GPU-мощности во время всплеска спроса, часть запросов сможет обработать резервный. Владельцы endpoints могут ограничивать долю межрегионального трафика, оставляя ресурсы для местных приложений. Доступ из другого аккаунта регулируется политикой endpoint.

Маршрутизатор не меняет модель, контейнер и настройки автоматического масштабирования и не создаёт новые мощности. Резерв должен существовать и иметь запас производительности. Сам router остаётся региональным ресурсом: сбой его собственного региона может сделать вызовы недоступными, даже если удалённые endpoints работают.

Ограничения для данных и приложений

Все ресурсы внутри одной routing target должны обслуживать одинаковую модель с совместимыми форматами запроса и ответа. Выбрать разрешённые регионы для отдельного запроса нельзя: данные могут попасть в любой регион из списка этой цели. Поэтому состав ресурсов определяет и географию возможной обработки. Произвольные веса распределения и собственные пороги состояния не поддерживаются.

Где попробовать

Функция уже доступна разработчикам в AWS. Настройка выполняется через AWS CLI, SDK или CloudFormation; консоль SageMaker AI пока не поддерживает inference routers. Нужны AWS-аккаунт, права IAM и развёрнутые ресурсы для обработки запросов. Официальные условия, ограничения и тарификация описаны в руководстве по маршрутизации, а рабочий пример с CLI и Boto3 — в инструкции AWS.

На обложке — официальная иллюстрация AWS о подборе конфигураций инференса в SageMaker AI Studio, а не интерфейс нового маршрутизатора.

Как подключить межрегиональный инференс

Подготовьте одинаковую модель в двух регионах

Разверните модель с одинаковыми форматами входа и выхода на двух real-time endpoints. В примере AWS используются us-west-2 и us-east-1. Дождитесь статуса InService у обоих ресурсов.

Настройте IAM и создайте router

Выдайте права на управление и вызов маршрутизатора, а также на вызов его endpoints. Сохраните их ARN в routing-targets.json и создайте inference router через актуальную AWS CLI командой create-inference-router. Дождитесь InService.

Переведите тестовый вызов на новый runtime

Используйте sagemaker-inference-router-runtime и InvokeInferenceRouter, передав имя маршрутизатора и routing target. Официальный пример AWS содержит готовые вызовы для CLI и Boto3; в нём клиентский тайм-аут чтения установлен на 170 секунд.

Проверьте маршрут и стоимость резерва

Посмотрите InvokedRoutedResourceArn и RoutingReason в ответе, а также метрики CloudWatch. Для теста выделите резервную ёмкость; после завершения удалите ненужные endpoints, иначе они продолжат тарифицироваться.

Что нужно знать о доступе и ограничениях

Доплаты за cross-Region inference routing нет. Обработка на endpoints и inference components оплачивается по обычным тарифам SageMaker AI, а метрики и запросы к ним — по тарифам CloudWatch.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости