Содержание
Обработанный контекст теперь можно разделить между GPU-серверами
AWS открыла распределённое KV-кэширование в Amazon ElastiCache for Valkey для команд, которые самостоятельно обслуживают большие языковые модели. Вместо повторной обработки одного и того же контекста разные GPU-серверы могут читать общие промежуточные вычисления. Функция уже общедоступна; по данным официального анонса от 18 ноября, в тестах стоимость инференса снижалась до 40%, а время до первого токена — до 80%.
Что именно кэширует ElastiCache
При чтении запроса языковая модель вычисляет тензоры ключей и значений — KV-состояние. Они нужны для обработки последующих токенов. Если пользователь продолжает длинный диалог или AI-агент снова передаёт описание инструментов и код проекта, значительная часть входа повторяется.
Обычный кэш в видеопамяти очень быстрый, но небольшой. Память сервера и его локальный SSD расширяют запас, однако остаются привязаны к одной машине. После перенаправления запроса на другой сервер уже выполненную работу приходится повторять.
ElastiCache добавляет общий уровень L2 поверх этих локальных уровней. При локальном промахе сервер может получить KV-состояние из общего кэша. Это помогает при возвращении пользователя через несколько часов, перераспределении нагрузки или потере GPU-хоста — пока нужные блоки ещё не вытеснены из самого кэша. Это не хранилище готовых ответов: модель продолжает вычислять новый текст.
Как устроено подключение
Новая возможность работает на узлах cache.i8ge.48xlarge с Valkey 9.1 и новее. Горячие блоки хранятся в оперативной памяти, более холодные автоматически уходят на локальные NVMe-накопители. Для быстрого обмена используется RDMA поверх Elastic Fabric Adapter; документация также описывает передачу через TCP.
Общий кэш размещается в той же зоне доступности, что и GPU-серверы. AWS указывает интеграцию с vLLM, SGLang и TensorRT-LLM через открытый коннектор LMCache. Возможность запуска конкретной модели зависит от поддержки в движке инференса и LMCache, а не только от наличия открытых весов.
Что показывают тесты и где выигрыш ограничен
В техническом разборе AWS сравнивает конфигурации с локальными кэшами и с добавленным общим узлом. На задаче вопросов к длинным документам система обслуживала вдвое больше запросов в секунду при заданных ограничениях задержки. Стоимость миллиона выходных токенов снизилась на 40% уже с учётом оплаты ElastiCache.
Это результат конкретного теста, а не гарантированная скидка для любого приложения. Наибольший смысл общий KV-кэш имеет для длинных повторяющихся запросов: программирующих агентов, многоходовых диалогов и работы нескольких пользователей с одними документами. Для коротких уникальных запросов, классификации и сценариев с длинным ответом на короткий вход польза заметно меньше.
Узлы оплачиваются почасово по тарифам ElastiCache. Отдельной платы за передачу данных между GPU-хостами и кэшем в одной зоне доступности нет, но стоимость самого кластера необходимо сопоставить с экономией GPU-времени.
Где попробовать
Функция доступна пользователям AWS в 13 регионах США, Европы и Азиатско-Тихоокеанского региона. Условия, архитектура и ограничения приведены в документации ElastiCache, настройка — в официальном руководстве по запуску. Для предварительной оценки собственной нагрузки AWS опубликовала KVTrace; цены указаны на странице тарифов.
Как проверить пользу общего KV-кэша
Оцените повторяемость контекста
Соберите события KV-кэша работающего vLLM или SGLang с помощью KVTrace и смоделируйте общий кэш до покупки дополнительных узлов.
Подготовьте отдельный кластер
По руководству AWS создайте кластер Valkey 9.1 или новее на cache.i8ge.48xlarge в одной зоне доступности с GPU-хостами. Настройте приватную сеть, права и обязательное шифрование соединений.
Подключите движок через LMCache
Используйте конфигурацию официального руководства для своего движка и передайте адрес кластера. При выборе RDMA проверьте совместимость хостов с EFA и установите необходимое ПО.
Сравните задержку и полную стоимость
Проверьте попадания в общий кэш и время до первого токена на одинаковой нагрузке. Узлы оплачиваются каждый час до удаления кластера, даже если ожидаемой экономии не получилось.