跳到正文
Hacker News· zniturah·· 3 小时前AI 评分71

vLLM 推出 PyTorch 原生 TPU 后端 vllm-torchtpu

PyTorch-native TPU back end for vLLM

AI 导读

vLLM 发布 PyTorch 原生 TPU 后端 vllm-torchtpu,作为树外平台插件,通过 TorchTPU 和 Pallas 自定义内核在 Google Cloud TPU 上运行 vLLM 标准 PyTorch 模型定义,无需改动模型代码。

来源:Hacker News · github.com