Содержание
Как устроен GPU-инференс в AWS Lambda
AWS 18 ноября добавила GPU-ускорение для Event Functions на Lambda Managed Instances. Разработчики с аккаунтом AWS могут запускать собственные AI-модели на EC2 G-серии, а Lambda берёт на себя GPU-драйверы, выделение инстансов, маршрутизацию и масштабирование. Это возможность именно Managed Instances, а не автоматическое добавление видеокарты к любой существующей Lambda-функции.
Свои модели — в событийном приложении
GPU-функция может быть отдельным этапом обработки: например, распознать речь после загрузки аудио в S3, проанализировать документ из очереди SQS или выполнить запрос к небольшой языковой модели из приложения. Работают те же более 200 источников событий AWS, что и для других Event Functions.
В официальном примере AWS через готовый образ vLLM запускается Qwen2.5-1.5B-Instruct. Помимо vLLM, AWS предоставляет образы с SGLang и PyTorch; их можно расширять своими зависимостями. По позиционированию AWS, новинка ориентирована прежде всего на инференс собственных моделей и GPU-обработку данных, а не на обучение больших моделей.
Что выделяется функции
Поддерживаются несколько семейств EC2 с GPU NVIDIA, включая T4, A10G, L4 и L40S. В конфигурации задаётся минимальная необходимая видеопамять: допустимы 3, 6, 12, 16, 24 или 48 ГБ. Сервис подбирает подходящий разрешённый тип инстанса; при дефиците мощностей возможен переход к другому типу из заданного списка.
Каждая среда выполнения получает один GPU либо одну виртуальную долю GPU на дробных инстансах. Это не схема суммирования памяти нескольких видеокарт для одной среды. Размер контейнерного образа может достигать 32 ГБ, но отдельного файла в нём — не более 10 ГБ. Временное NVMe-хранилище также настраивается до 32 ГБ: его нельзя путать с видеопамятью или оперативной памятью функции.
Для ускорения запуска доступны отложенная загрузка контейнера через Seekable OCI и загрузка весов из S3. Метрики загрузки GPU, использования видеопамяти и мощности доступны в CloudWatch и консоли Lambda. Задержка старта при этом зависит от образа, модели и доступной ёмкости — универсального обещания мгновенного запуска нет.
Сколько это стоит
По анонсу AWS, оплачиваются используемые EC2-инстансы, сверху взимается 9,75% за управление Lambda и 0,20 доллара за миллион запросов. К инстансам применяются Savings Plans и Reserved Instances. Поэтому небольшое число вызовов само по себе не означает низкий счёт: существенны выбранный GPU и время существования вычислительных ресурсов.
Где попробовать
Возможность доступна в коммерческих регионах AWS, где одновременно есть Lambda Managed Instances и подходящие EC2 G-инстансы. Конфигурация поддерживается через консоль, AWS CLI, SDK и инфраструктурные инструменты AWS. Официальная инструкция запуска содержит пример с PyTorch; руководство по GPU перечисляет ограничения. Актуальную стоимость выбранного региона нужно сверять со страницей тарифов Lambda.
Как проверить GPU-функцию на Managed Instances
Проверьте регион, квоты и права
Убедитесь, что выбранный регион поддерживает нужные сервисы. Проверьте квоту EC2 Running On-Demand G and VT instances: по умолчанию она может быть нулевой. Подготовьте VPC, подсети, группы безопасности и роли IAM.
Создайте GPU capacity provider
Включите в список разрешённых инстансов только поддерживаемые GPU-типы. Для устойчивости можно указать несколько поколений. Задайте лимит vCPU, чтобы ограничить выделяемую ёмкость.
Подготовьте контейнер модели
Возьмите официальный GPU-образ Lambda, например с PyTorch или vLLM, добавьте необходимые настройки и загрузите образ в Amazon ECR по официальной инструкции.
Создайте функцию и опубликуйте версию
Свяжите контейнер с capacity provider, настройте роль выполнения и AcceleratorMemorySize. Опубликуйте версию и дождитесь её готовности.
Вызовите функцию и завершите тест
Выполните тестовый вызов через Lambda, проверьте результат и GPU-метрики в CloudWatch. После эксперимента удалите тестовую функцию, затем capacity provider, чтобы остановить инстансы и связанные расходы.