Hacker News· zniturah·· 3 小时前AI 评分71
vLLM 推出 PyTorch 原生 TPU 后端 vllm-torchtpu
PyTorch-native TPU back end for vLLM
AI 导读
vLLM 发布 PyTorch 原生 TPU 后端 vllm-torchtpu,作为树外平台插件,通过 TorchTPU 和 Pallas 自定义内核在 Google Cloud TPU 上运行 vLLM 标准 PyTorch 模型定义,无需改动模型代码。
来源:Hacker News · github.com