Hacker News· gmays·· 21 小时前AI 评分58
Inferact 开源 TPU v7 megakernel,Kimi K3 解码超 700 tokens/s
TPS on Kimi K3 with TPU Megakernels
AI 导读
Inferact 发布 inferact/tpu-megakernels,一组面向 TPU v7 的 megakernel,其 Kimi K3 实现在投机解码下达到 700 tokens/s 以上,对比 GB200 的 452 tokens/s。
来源:Hacker News · inferact.ai