llama-mtp-replay 离线评测 MTP 草稿头
热点事件持续更新
llama-mtp-replay 离线评测 MTP 草稿头
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
xlayn 发布 llama-mtp-replay，可在 CPU 上离线回放 Qwen3.8-27B 的 NextN/MTP 草稿链（blk.64），按 token 桶和链深度评测草稿头变体，无需 llama-server 和目标上下文。 在针对 Qwen3.8-27B 的实验中，Q4S 草稿头在 Q6 量化下比 Q6 更快，f16 更慢。xlayn 称评测须使用 f16 KV，因为 q8_0 KV 会使 h 与 f16-KV 目标计算出的结果不同。
AI 根据报道生成 · 17 小时前更新
最新进展11月8日 08:18
Qwen3.8-27B MTP 草稿头量化实验：Q4S 头在 Q6 量化下比 Q6 更快，f16 更慢报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- Hacker NewsQwen3.8-27B MTP 草稿头量化实验：Q4S 头在 Q6 量化下比 Q6 更快，f16 更慢
针对 Qwen3.8-27B 的 NextN/MTP 草稿链（blk.64），llama-mtp-replay 可在 CPU 上离线按 token 桶和链深度评测草稿头变体，无需 llama-server 和目标上下文。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 1011月8日 09:00
- 近 24 小时变化
- –
02.557.510
09:0012:0015:0018:0021:0011月9日
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。