Hacker News· motownphilly·· 3 小时前AI 评分65
Tri Dao 提出 ReplaySSM:缓存 SSM 输入而非状态
ReplaySSM: Cache SSM Inputs, Not State (Tri Dao)
AI 导读
Tri Dao 团队提出 ReplaySSM,把 SSM 解码中每步写回的循环状态改为缓存近期输入,需要时再重建状态,数学上与原解码等价。在 vLLM 上实测,标准解码端到端最高加速 1.48x(大 MoE 模型 1.43x),投机解码相对 vLLM 标准解码达 1.87–1.96x,固定显存下并发请求数提升 3.0–3.3x。
来源:Hacker News · tridao.me