The Decoder· Matthias Bastian·· 4 小时前精选AI 评分76
DeepSeek 开源推理框架 DeepInfer，为 V4.1-Flash 提供服务支持
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 开源了内部推理框架 DeepInfer，采用 Apache License 2.0，为 V4.1-Flash 提供服务支持。框架基于 vLLM，包含优化计算内核、多芯片分布式处理和加速文本生成技术；DeepSeek 还发布了 deepseek-recipe，用于复现官方 DeepSeek API 的 token 处理方式。
推荐理由
DeepInfer 将服务软件、优化内核和多芯片分布式处理纳入开源发布，并配套提供 token 处理复现工具，可从部署成本角度理解这次开放的内容。
来源：The Decoder · the-decoder.com