正文

10 月 20 日，DeepSeek 把它线上服务真正跑着的推理引擎 DeepInfer 开源了（Apache 2.0，可商用）。一句话：训练好的模型只是"毛坯"，推理引擎是把它切分到成百上千块芯片上、又快又省地回答用户问题的"生产线软件"——这是 AI 公司成本的大头，DeepSeek 这次等于把自家生产线的图纸公开了。最引人注目的是：同一套代码同时支持 NVIDIA 最新的 SM100（Blackwell）GPU 和华为昇腾 950 NPU，这是第一次有前沿大厂把国产芯片和 NVIDIA 放在同等位置做推理框架。

这是什么

推理引擎（inference engine）是把训练好的模型部署成在线服务的软件，管"怎么把计算分到各张卡、请求怎么排队"；它决定了每回答一次的成本和延迟。DeepInfer 就是 DeepSeek 线上每天服务 155 万亿 token 的那套系统（公司自报数字）。

具体变了什么（数字）

• 首个版本只支持一个模型：DeepSeek-V4.1-Flash，且只做离线推理；KV 缓存系统、"预填充/解码分离"、负载均衡这些完整服务组件没给，要自己补。
• 双芯片支持：NVIDIA SM100 和华为昇腾 950 同一套代码。背景：DeepSeek 上周刚说计划 2026 年底前在华为芯片上做预训练。
• 性能数字（DeepSeek 自报）：单集群每天服务 155 万亿 token；输入缓存命中率 96%；首 token 平均约 400 毫秒；每卡每秒输出超 25000 token。
• 技术包：自研算子（FlashMLA、DeepGEMM、DeepEP 等）、混合专家跨卡并行、"DSpark"推测解码（先猜 5 个 token 再一次性校验）、确定性采样、结构化输出。README 承认最早主要基于开源 vLLM 搭建，借鉴了 SGLang 和 TensorRT-LLM。

关键术语解释

KV 缓存 = 模型生成时把算过的中间结果存下来复用，避免重复计算，长对话省钱的关键；预填充/解码分离 = 把"读懂问题"和"逐字回答"两个阶段分到不同机器上各自优化，大厂降本常用手段；推测解码 = 用小模型先"猜"几个 token，大模型一次性验证，猜对就白赚速度；昇腾 950 = 华为新一代 AI 芯片，对标 NVIDIA 高端卡。

对实际使用者的影响

对开发者/算力从业者：可以直接拿去在昇腾 950 上跑 DeepSeek-V4.1-Flash，等于官方背书了一条"去 NVIDIA 化"的推理路线；做私有化部署、降本的人多了个经过生产验证的参考实现。值不值得跟：如果你的卡是 NVIDIA SM100 或昇腾 950，值得读代码学思路；其他硬件、其他模型暂时用不上。对普通用户无直接变化；长期看推理成本下降会传导到 API 降价（DeepSeek 的 API 本来就是全场最低一档）。

来源

DeepSeek GitHub 发布（Apache 2.0，2026-10-20）；MarkTechPost、Technology.org 转述。
MarkTechPost：DeepInfer 开源详解 ｜ Technology.org：DeepInfer 与昇腾 950