vLLM 发布 PyTorch 原生 TPU 后端插件
热点事件持续更新
vLLM 发布 PyTorch 原生 TPU 后端插件
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
vLLM 发布 PyTorch 原生 TPU 后端 vllm-torchtpu，作为树外平台插件，通过 TorchTPU 和 Pallas 自定义内核在 Google Cloud TPU 上运行 vLLM 标准 PyTorch 模型定义，无需改动模型代码。 该插件需在 Cloud TPU VM 上使用 Python 3.12；首次启动会为配置的形状编译 TPU 图，可能耗时数分钟。TPU v7x（Ironwood）被列为推荐平台，每次拉取请求和每夜构建均在 CI 中验证；TPU v6e、v5e、v5p 为实验性支持，不在 CI 覆盖范围内。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 06:34
vLLM 推出 PyTorch 原生 TPU 后端 vllm-torchtpu报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Hacker NewsvLLM 推出 PyTorch 原生 TPU 后端 vllm-torchtpu
vLLM 发布 PyTorch 原生 TPU 后端 vllm-torchtpu，作为树外平台插件，通过 TorchTPU 和 Pallas 自定义内核在 Google Cloud TPU 上运行 vLLM 标准 PyTorch 模型定义，无需改动模型代码。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。