首页 / FAQ
DeepInfer 常见问题
环境变量、评测 Pass@1、生产系统数字（须标注归属）、开源缺口——对齐官方 README、eval/ 与 doc/inference_deployment_qa.md。
归属说明 — 生产 vs 开源。诸如单集群约 155 万亿 tokens/天、低谷约 38 美元/GPU·小时等数字，描述的是 DeepSeek生产推理系统（见 doc/inference_deployment_qa.md 及相关解读），不是安装开源 DeepInfer 后自动获得的结果。开源是离线引擎发行；KV 存储、完整 PD 分离服务、DP 负载均衡未包含。
DeepInfer、recipe、Harness 区别？
- DeepInfer — DeepSeek-V4.1-Flash 离线推理引擎（Apache-2.0）。
- deepseek-recipe — 协议 / 提示词 / 分词；不做推理。
- DeepSeek Harness（DSH） — 智能体运行时 · dshbase.com。
环境变量（DEEPINFER_* + 昇腾调试）
| 变量 | 作用 | 来源 |
|---|---|---|
DEEPINFER_ACCELERATOR | nvidia 或 ascend — 构建与运行均需保持导出 | README |
DEEPINFER_HF_MODEL_DIR | 本地权重路径，替代 HF 缓存下载 | README |
DEEPINFER_ENABLE_MTP_VARLEN | 开启 DSpark / MTP 变长校验（设为 1） | README |
DEEPINFER_USE_NEXTN_DECODE | 草稿长度上限（默认 5）；设 0 关闭投机解码 | README / examples |
DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE | V4.1 默认 compact | README |
DEEPINFER_YOCO_PREFILL_KEEP_TOKENS | 默认保留后缀 140 | README |
DEEPINFER_BATCH_INVARIANT | 1 批不变（NVIDIA）；确定性需再关 MTP 并固定 seq_seed | README |
ASCEND_LAUNCH_BLOCKING | 同步算子，便于昇腾堆栈可读 | examples/README |
ASCEND_SLOG_PRINT_TO_STDOUT | CANN 日志打到 stdout | examples/README |
评测 Pass@1（参考）
来自 eval/README.md — 文档默认配置下的 V4.1 参考值。采样有随机性，仅作健全性检查。
| 基准 | Pass@1 |
|---|---|
| AIME 2026 | 99.9% |
| GPQA Diamond | 93.4% |
| HLE-Full | 42.6% |
生产系统数字（≠ 开源安装结果）
| 事实 | 数值 | 标注 |
|---|---|---|
| 集群吞吐 | 约 155 万亿 tokens/天 | 生产系统 |
| 收入（低谷） | 约 38 美元 / GPU·小时 | 生产系统 |
| 平均输入 / 缓存命中 | 约 77K tokens · 约 96% 命中 | 生产系统 |
| TTFT | 平均约 400 ms | 生产系统 |
| Prefill（无缓存→有缓存） | 约 60k → 约 1.5M tok/s/GPU（约 25×） | 生产系统 |
| Decode / 用户速度 | 约 14k tok/s/GPU · 用户约 230 tok/s（代码约 300） | 生产系统 |
| 高效部署单元 | 约 64P + 64D · P:D ≈ 1:1 | 生产 / Q&A |
| 拓扑提示 | Prefill 常见 8 卡机；Decode 64–128 卡超节点 | 生产 / Q&A |
DSpark 表注意。Q&A 中置信度调度相对固定-5 的增益（如约 60 conc/rank 时约 +4–7%）来自生产 / EP64·DP64 离线基准核算——不是笔记本构建的承诺。
有没有官方 Docker 镜像？
没有。README 未发布官方镜像。社区文章中的 Dockerfile 仅为社区示例，不是 DeepSeek 官方产物。
许可证？
DeepInfer Apache-2.0 · deepseek-recipe MIT。