DeepInfer 开源推理框架

DeepInfer 是支撑 DeepSeek V4.1 Flash 线上服务的推理框架。10 月 20 日，DeepSeek 在 GitHub 以 Apache-2.0 许可证公开了它，官方 Q&A 称，单一集群目前每天处理 155 万亿 token。仓库目前提供的是离线推理，完整在线服务还需要的 KV 缓存系统和跨副本负载均衡，不在这次发布里。

要点

DeepInfer 以 Apache-2.0 许可证发布。README 写明它支持英伟达 SM100 GPU 与华为昇腾 950 NPU，列出的支持模型是 DeepSeek-V4.1-Flash。
官方给出的数字是每 GPU 小时 38 美元（按谷价）的收入。Q&A 没有给出成本或利润，也没有写明这个数字对应哪一款卡。
README 列出三项完整服务所需、但本次不含的内容：KV 缓存系统；VE/Prefill/Decode 分离（README 注明大部分必需的引擎功能已经实现）；预填充与解码两侧数据并行副本之间的负载均衡。

背景

DeepSeek 在 9 月底已经放出过一批底层组件。我们当时报道过它在 deepseek-ai 组织下开源的六个昇腾基础组件（DeepSeek 开源昇腾基础组件）。DeepInfer 的 README 也把 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 列为它的优化内核来源，并提到自定义的 TileLang 内核。这次放出的，是把这些内核串起来的推理引擎。

DeepInfer 最初主要基于 vLLM 构建，README 的致谢里同时提到受 SGLang 与 TensorRT-LLM 启发。它默认加载的检查点是 DeepSeek-V4.1-Flash-1017，我们 10 月 17 日报道过这个模型卡。

事实部分

下表把官方数字和出处放在一起。GitHub 仓库与 Q&A 是一手材料。缓存命中率和延迟数字见于 DeepSeek 的知乎官方文章，Crypto Briefing 转述了同一组数字。

项目	官方数字	出处
单集群服务量	每天 155 万亿 token	官方 Q&A
收入口径	每 GPU 小时 38 美元（按谷价）	官方 Q&A
KV 缓存	保留 72 小时以上；3FS 存储约 100 PiB；agent 流量 TTL 3 天，聊天流量 7 天	官方 Q&A
并行布局	预填充 EP2–8；解码 EP64–128（Wide-EP）；最小高效单元为预填充 64 卡加解码 64 卡	官方 Q&A
输入缓存命中率	96%	知乎官方文章，Crypto Briefing 转述
平均首 token 时间	约 400 毫秒	同上
解码速度	230 tokens/s；代码任务最高 300 tokens/s	同上
基准规模	预填充 4 张 SM100，解码 64 张，各自位于同一个 scale-up 域内	README
检查点大小	DeepSeek-V4.1-Flash-1017，83 个文件，合计约 510.3 GB	Hugging Face

这些数字性质不同，要分开看。38 美元是收入，Q&A 没有披露硬件折旧、电费或利用率，因此无法从它推出利润率。投机解码的收益同样是推算值。Q&A 按 EP64/DP64 的基准数据估算：在每卡约 60 个并发序列的工作点上，动态长度验证比固定 5 个草稿 token 多出 4% 到 7% 的吞吐；在表中 16 到 96 个并发之间，估算增益从 −1.5% 到 +11%。Q&A 还称，TTL 设为 3 天，只使聊天流量的 KV 命中率下降 0.5% 到 1%。

各方说法

第一财经的标题是“一张卡每小时收入38美元！”，正文写明，实际能省多少成本“仍取决于硬件配置、业务负载和部署能力”，完整在线服务还要补上 KV 缓存系统、推理阶段分离部署和跨副本负载均衡。

DeepInfer 的讨论也集中在这几点。我们于 2026 年 10 月 20 日 12:50 UTC 通过 Hacker News 官方 API 查询，这条帖子有 795 分、271 条评论（含回复）。一位评论者指出，官方说的是每卡每小时 38 美元，却没有说明是哪一款卡。另一位认为，这次放出的东西刚好够搅局，却不够让人从零搭出一套生产服务。也有人直接说，KV 缓存系统明显缺失。还有人问 DeepInfer 相对 vLLM 和 SGLang 的性能增益，但 README 和 Q&A 里都没有这组对比。也有评论者称，Together.ai、Baseten 等服务商在 DeepSeek V4 上的吞吐与延迟已经超过模型开发方自己的服务，但没有附数据。

Crypto Briefing 没有提到 38 美元，它报道的数字是 155 万亿 token、96% 缓存命中率、约 400 毫秒首 token 时间和 230 tokens/s，并把这次开源定位为帮助企业降低算力成本与能耗。凤凰网的报道侧重兼容性，据官方介绍，DeepInfer 可以在英伟达与华为昇腾平台上运行。

编辑判断

对想自建 DeepSeek V4.1 Flash 服务的团队，DeepInfer 更像一份参考实现。它公开了官方怎样分配 EP 与 DP、怎样保存 KV 缓存、怎样用 3FS 存储，这些可以拿来对照自己的部署账本。但它不是开箱即用的服务：KV 缓存系统和跨副本负载均衡要自己补，选型时应当把这部分工程量算进去。

最容易被误读的是 38 美元。它是官方给出的收入口径，按谷价计算，没有成本数字，也没有写明硬件型号，不能直接当作利润率或单卡盈利。155 万亿 token 与 96% 缓存命中率同样只来自 DeepSeek 自己的材料，我们读到的来源里也没有第三方复测。

如果目标硬件是昇腾，要注意 README 写明批次不变推理和确定性采样只支持英伟达。同时开源的 deepseek-recipe（MIT 许可证）负责大模型 API 协议与 token 序列之间的编解码。官方称它的处理逻辑与官方 DeepSeek API 完全对齐，第三方部署因此能得到相同的 API 行为，这一说法我们没有独立验证。

接下来要看的是 KV 缓存和负载均衡是否开放。Q&A 说它会持续更新，并称今后的推理代码也会继续放进 DeepInfer。

怎么试

DeepInfer 的离线示例需要在 Linux 上运行，要求 GCC 13 以上、Python 3.12；英伟达路线还需要 CUDA 13，昇腾路线需要 CANN 9.2。先创建并激活一个空的 Python 3.12 环境，再执行：

export DEEPINFER_ACCELERATOR=nvidia   # 昇腾路线改为 ascend
./build.sh
python examples/offline_inference.py

第一次运行会把默认检查点下载到 Hugging Face 缓存，这个仓库合计约 510 GB。如果已有本地副本，设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 即可直接使用。README 的性能图来自 4 张 SM100 做预填充、64 张做解码的设置。较小的测试环境跑通示例，并不等于复现这组吞吐。