AWS Machine Learning Blog· Sunita Nadampalli·· 9 小时前精选AI 评分61
vLLM push-based KV 传输改善解耦推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 介绍了 vLLM 的 push-based NIXL connector，通过预先注册 decode 端目标块，并在 prefill 端后台线程提交 KV 写入，将传输协调与准备工作移出生成关键路径。
推荐理由
文章拆解了 push 模式如何把 KV 传输准备移出推理关键路径，并以 Qwen3-32B 基准对比 TTFT 与 TPOT，呈现其性能收益和路由取舍。
来源：AWS Machine Learning Blog · aws.amazon.com