Latent Space·· 4 小时前精选AI 评分78
DeepSeek 开源生产推理框架 DeepInfer，披露集群吞吐与缓存数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了用于 V4.1 Flash 的生产推理框架 DeepInfer，并发布相关服务细节。DeepSeek 报告单集群吞吐为每天 155 万亿 tokens、输入缓存命中率为 96%，非高峰时每张加速卡每小时收入为 $38；这些是第一方生产数据，且吞吐包含缓存命中的 token。
推荐理由
DeepInfer 将生产推理系统中的调度、缓存与吞吐披露带入开源讨论，并提供了与 vLLM 的阶段性对照，便于理解工程实现和性能比较的边界。
来源：Latent Space · latent.space