NVIDIA 于 2026 年 11 月 10 日 发布相关消息。
它保存的不只是权重
NVIDIA 介绍了开源的 Snapshot,用于保存并恢复 Kubernetes 上的 GPU 工作负载。它记录初始化后的 CPU 和 GPU 状态,从检查点启动副本时,可省去重新加载权重、编译内核和捕获 CUDA 图等步骤。
官方测试的边界
在 NVIDIA 公布的 vLLM、SGLang 与 TensorRT LLM 配置里,恢复用时约 3.6 至 42.7 秒,速度约为冷启动的 8 至 36 倍。创建检查点本身约需 15 秒至 5.5 分钟,大型多卡配置还需要可观的存储容量。
怎么判断是否值得接入
有扩容冷启动问题的推理平台,可以用现有模型与硬件分别测量制作检查点、恢复副本和原始冷启动的时间,再把存储开销算进去。官方数字对应所列测试组合,不能直接当作任何集群上的部署承诺。
来源:NVIDIA 原始发布
