AWS Machine Learning Blog· Sunita Nadampalli·· 9 小时前精选AI 评分68
AWS 介绍如何用 vLLM 双向 KV 传输降低多轮智能体工作负载的 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 介绍了 vLLM 双向 KV 缓存传输机制，使预填充节点能在后续轮次复用解码节点保留的 KV，从而减少重复计算并降低多轮对话的 TTFT。在使用 Amazon EC2 P5en 和 EFA 的 1P1D 部署中，Qwen3-32B 的 TTFT 最多降低 1.6x，zai-org/GLM-5-FP8 最多降低 3.3x；结果会随工作负载和配置变化。
推荐理由
文章解释了双向 KV 传输如何减少多轮对话中的重复预填充计算，并提供两种模型的 TTFT 对比及可调参数，便于评估部署取舍。
来源：AWS Machine Learning Blog · aws.amazon.com