跳到正文
Hacker News· gmays·· 21 小时前AI 评分58

Inferact 开源 TPU v7 megakernel,Kimi K3 解码超 700 tokens/s

TPS on Kimi K3 with TPU Megakernels

AI 导读

Inferact 发布 inferact/tpu-megakernels,一组面向 TPU v7 的 megakernel,其 Kimi K3 实现在投机解码下达到 700 tokens/s 以上,对比 GB200 的 452 tokens/s。

来源:Hacker News · inferact.ai