跳到正文
Hacker News· Termich·· 2 小时前AI 评分58

Show HN:在消费级 GPU 上实测 DSpark 投机解码

Show HN: Benchmarking DSpark speculative decoding on a consumer GPU

AI 导读

作者开源 dspark-local-bench,在 AMD Radeon RX 7900 GRE 上用 llama.cpp 对 DSpark 等投机解码方法做可复现的单用户基准测试。

来源:Hacker News · github.com