AWS 于 2026 年 11 月 18 日 发布相关消息。
给 GPU 集群增加共享缓存层
AWS 于 11 月 18 日宣布,ElastiCache for Valkey 的分布式 KV 缓存正式可用。它把模型预填充阶段产生的键值状态保存到共享缓存中,使长对话、重复文档或相同工具定义在后续请求里复用,减少重复处理整个提示词的计算。
通过 LMCache 接入推理引擎
服务可借助开源 LMCache 连接器与 vLLM、SGLang、TensorRT-LLM 等引擎配合,主要通过配置完成接入。共享层位于 GPU 内存和主机本地缓存之外,能够在请求切换节点、会话恢复或单台服务器故障后继续提供已有上下文。
官方测试给出成本与延迟结果
AWS 报告在所测工作负载中,推理成本最多降低 40%,首 token 等待时间最多降低 80%。这些数字依赖提示词长度、重复前缀比例和缓存命中率。原文列出代码助手、AI 助手及长文档问答等测试,团队可据自身请求分布评估收益。
来源:AWS 原始发布
