Hacker News· Kmic68·· 13 小时前AI 评分36
双 Tesla P100 版 llama.cpp 跑 Qwen 3.8 27B：解码速度提升 1.86 倍
2x Tesla p100s, q6_k quant, Qwen 3.8 27B ~60tps
AI 导读
针对双 Tesla P100（sm_60）调优的 llama.cpp 分支在 Qwen3.8-27B 上实现解码 1.86 倍提速（17.5 至 32.6 t/s），启用模型内置 MTP head 后约 3 倍（约 54 t/s）。
来源：Hacker News · github.com