DeepSeek 又双叒开源了！继开源大模型、TileLang 编译工具及一系列推理算子库后，这家公司直接把内部压箱底的大规模推理框架 DeepInfer 给掏了出来，还顺带开源了生产级 Token 编解码组件 deepseek-recipe，目标直指大模型推理的算力与能源成本。

性能有多猛？单机群日吞155万亿Token

大模型的能力边界由模型本身划定，但如何用合理成本提供超大规模服务，考验的就是推理框架了。基于 DeepInfer，DeepSeek 已经实现了 V4.1 Flash 高吞吐、低延迟的大规模推理服务。

官方披露的实际线上数据相当夸张：目前单一集群日吞吐量高达 155 万亿 Token。按谷电价计算，在机器预留一定冗余度应对流量波动的情况下，平均每卡每小时收入可达 38 美元。

具体来看，Prefill（处理输入提示词）阶段每卡不含缓存命中的吞吐为 60K tps，含缓存命中时更是达到 1.5M tps；Decode（逐步生成Token）阶段每卡吞吐为 14K tps，吐字速度 230 tps，代码场景下能跑到 300 tps。

昇腾英伟达通吃，P/D分离精细调度

DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay 及结构化输出等能力，并且同时兼容英伟达与华为昇腾两大硬件平台。

面对海量 AI 调用，DeepSeek 采用了经典的 Prefill 与 Decode 分离部署架构。前者负责啃下长输入，后者负责慢慢吐字。由于两个阶段计算负载完全不同，分开部署可以独立配置资源，分别优化首字延迟（TTFT）和后续吐字间隔。

在硬件组织上，DeepSeek 使用常见的 8 卡机器承担 Prefill 任务，采用 64 至 128 卡超节点承担 Decode 任务，并通过自动扩缩容动态调整实例比例。在 MoE 模型推理中，还通过专家并行与动态负载均衡来消除卡间负载差异。

在 Prefill 阶段，通过对 batch size 进行精细调优，系统在非缓存输入吞吐量与单步延迟之间找到了极佳的平衡点。

KVCache神级复用，最长保留7天

缓存复用是 DeepSeek 降本的另一大杀招。随着长上下文对话和 AI Agent 普及，大量请求存在相同前缀，重复计算纯属浪费电费。

DeepSeek V4.1 Flash 将 KVCache 分为 Block KVCache 和 SWA KVCache 两部分。其中，Block KVCache 存储在独立的 3FS 分布式文件系统中，相关存储容量约为 100 PiB。Agent 流量的 KVCache 保留 3 天，聊天机器人流量最长保留 7 天。

为了撑住这么大的缓存读写，3FS 存储集群的峰值聚合读取带宽达到了 10 TiB/s，峰值聚合写入带宽约为 850 GiB/s。一旦请求命中缓存，系统就能直接复用计算结果，跳过大量重复的 Prefill 计算。

而对于主要在活跃会话内短期复用的 SWA KVCache，则直接保留在机器内存中不落地，保留时间约 180 秒，命中率超过 98%。万一没命中，SWA Bounded Replay 机制只会重算最近 128 个 Token，把额外开销压到最低。

投机解码加持，开源仍有“保留节目”

除了缓存，DeepSeek 还通过 DSpark 投机解码框架和异步调度来压榨性能。该框架能根据候选 Token 的预期接受概率动态决定验证范围，不做无用功。官方数据显示，变长验证相比固定验证 5 个 Token，使吞吐提升了 6%。

同步开源的 deepseek-recipe 是个生产级 Token 编解码组件，支持 Chat Completions API、Responses API 等主流接口，能确保第三方部署的 API 处理逻辑与官方服务完全一致。

不过，DeepSeek 并未一次性开放全部组件。由于 KVCache 管理和负载均衡部分与内部基础设施耦合过深，这部分核心代码目前尚未完整开源。

【编辑观察】从模型权重到底层算子，再到如今的大规模推理框架，DeepSeek 正在用“开源”倒逼整个行业进步。当别人还在靠闭源 API 收租时，这种把基础设施全给你扒明白的做法，确实值得瑞思拜。