ReplaySSM：缓存SSM输入而非状态

Tri Dao 团队提出 ReplaySSM，把 SSM 解码中每步写回的循环状态改为缓存近期输入，需要时再重建状态，数学上与原解码等价。 在 vLLM 上实测（启用 CUDA Graph，SSM 状态为 FP32、缓存向量为 BF16），标准解码端到端最高加速 1.48x（大 MoE 模型 1.43x），投机解码相对 vLLM 标准解码达 1.87–1.96x，固定显存下并发请求数提升 3.0–3.3x。投机解码测试中两类模型均以各自的 MTP 头作为草稿模型。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。