为什么投机解码（Speculative Decoding）会更快？

投机解码加速并非因为计算量更少，反而总 FLOPs 更高，原因是它把 GPU 从逐 token 解码时的内存受限状态转为计算受限状态，用闲置算力换取速度。逐 token 解码时每个 token 都要流式加载全部活跃参数（如 Qwen3.5-27B 的 27B 参数），GPU 算力被浪费；投机解码在小 batch 下用一次前向并行验证多个草稿 token，把“广度”换成“深度”。