DeepSeek开源推理框架DeepInfer

DeepSeek 以 Apache 2.0 许可开源了其大规模生产服务所用的高性能推理框架 DeepInfer，当前支持 DeepSeek-V4.1-Flash 模型。 此次开源版本提供离线推理，包含支撑规模化服务所需的核心功能。但 DeepSeek 称，要组成完整推理服务还缺少 KV 缓存系统、VE/Prefill/Decode 分离，以及 prefill 和 decode 在数据并行副本间的负载均衡；其中大部分引擎功能已实现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。