НовостьНейросетиAWSAI-инфраструктура

AWS добавила общий KV-кэш для AI-моделей — до 40% экономии на инференсе

Amazon ElastiCache for Valkey получил распределённый KV-кэш для собственных LLM-серверов. В тестах AWS он снижал стоимость инференса до 40% и время до первого токена до 80%; результат зависит от повторяемости контекста и нагрузки.

Ирина Видяшкина

19.11.2026 · 3 минут чтения · Нейросети

Aws Elasticache Distributed Kv Cache LLM Inference Cover

Содержание

Обработанный контекст теперь можно разделить между GPU-серверами

AWS открыла распределённое KV-кэширование в Amazon ElastiCache for Valkey для команд, которые самостоятельно обслуживают большие языковые модели. Вместо повторной обработки одного и того же контекста разные GPU-серверы могут читать общие промежуточные вычисления. Функция уже общедоступна; по данным официального анонса от 18 ноября, в тестах стоимость инференса снижалась до 40%, а время до первого токена — до 80%.

Что именно кэширует ElastiCache

При чтении запроса языковая модель вычисляет тензоры ключей и значений — KV-состояние. Они нужны для обработки последующих токенов. Если пользователь продолжает длинный диалог или AI-агент снова передаёт описание инструментов и код проекта, значительная часть входа повторяется.

Обычный кэш в видеопамяти очень быстрый, но небольшой. Память сервера и его локальный SSD расширяют запас, однако остаются привязаны к одной машине. После перенаправления запроса на другой сервер уже выполненную работу приходится повторять.

ElastiCache добавляет общий уровень L2 поверх этих локальных уровней. При локальном промахе сервер может получить KV-состояние из общего кэша. Это помогает при возвращении пользователя через несколько часов, перераспределении нагрузки или потере GPU-хоста — пока нужные блоки ещё не вытеснены из самого кэша. Это не хранилище готовых ответов: модель продолжает вычислять новый текст.

Как устроено подключение

Новая возможность работает на узлах cache.i8ge.48xlarge с Valkey 9.1 и новее. Горячие блоки хранятся в оперативной памяти, более холодные автоматически уходят на локальные NVMe-накопители. Для быстрого обмена используется RDMA поверх Elastic Fabric Adapter; документация также описывает передачу через TCP.

Общий кэш размещается в той же зоне доступности, что и GPU-серверы. AWS указывает интеграцию с vLLM, SGLang и TensorRT-LLM через открытый коннектор LMCache. Возможность запуска конкретной модели зависит от поддержки в движке инференса и LMCache, а не только от наличия открытых весов.

Что показывают тесты и где выигрыш ограничен

В техническом разборе AWS сравнивает конфигурации с локальными кэшами и с добавленным общим узлом. На задаче вопросов к длинным документам система обслуживала вдвое больше запросов в секунду при заданных ограничениях задержки. Стоимость миллиона выходных токенов снизилась на 40% уже с учётом оплаты ElastiCache.

Это результат конкретного теста, а не гарантированная скидка для любого приложения. Наибольший смысл общий KV-кэш имеет для длинных повторяющихся запросов: программирующих агентов, многоходовых диалогов и работы нескольких пользователей с одними документами. Для коротких уникальных запросов, классификации и сценариев с длинным ответом на короткий вход польза заметно меньше.

Узлы оплачиваются почасово по тарифам ElastiCache. Отдельной платы за передачу данных между GPU-хостами и кэшем в одной зоне доступности нет, но стоимость самого кластера необходимо сопоставить с экономией GPU-времени.

Где попробовать

Функция доступна пользователям AWS в 13 регионах США, Европы и Азиатско-Тихоокеанского региона. Условия, архитектура и ограничения приведены в документации ElastiCache, настройка — в официальном руководстве по запуску. Для предварительной оценки собственной нагрузки AWS опубликовала KVTrace; цены указаны на странице тарифов.

Как проверить пользу общего KV-кэша

Оцените повторяемость контекста

Соберите события KV-кэша работающего vLLM или SGLang с помощью KVTrace и смоделируйте общий кэш до покупки дополнительных узлов.

Подготовьте отдельный кластер

По руководству AWS создайте кластер Valkey 9.1 или новее на cache.i8ge.48xlarge в одной зоне доступности с GPU-хостами. Настройте приватную сеть, права и обязательное шифрование соединений.

Подключите движок через LMCache

Используйте конфигурацию официального руководства для своего движка и передайте адрес кластера. При выборе RDMA проверьте совместимость хостов с EFA и установите необходимое ПО.

Сравните задержку и полную стоимость

Проверьте попадания в общий кэш и время до первого токена на одинаковой нагрузке. Узлы оплачиваются каждый час до удаления кластера, даже если ожидаемой экономии не получилось.

Коротко о доступности и ограничениях

В Ирландии, Франкфурте и Стокгольме. Всего AWS указала 13 регионов в Северной Америке, Европе и Азиатско-Тихоокеанском регионе.

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Хочешь узнавать первым о таких новостях?

Переходи в наш телеграм канал где мы ежедневно публикуем самые свежие и интересные новости

Чиби Новости