跳到正文
热点事件持续更新

B300 上 CUDA checkpointing 提速 15 倍

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Henry Zhu 与 Vimarsh Sathia 发布工作日志称,在 B300 上对 vLLM 运行的 GLM-5.3-flash(每 rank 约 172.74 GB)做 CUDA checkpoint 与恢复,经优化后整体提速至少 15 倍。 作者说明,这一结果基于本地 NVMe;在 FUSE 上重复同一 fio 测试结果不同,这些运行中直接 I/O 会降低读写带宽。 作者同时表示,该优化不是 gVisor 的一个开关,也不声称 gVisor 本身获得任何提速。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. Hacker News
    在 B300 上把 CUDA Checkpointing 提速 15 倍:一份工作日志

    在 B300 上对 vLLM 运行的 GLM-5.3-flash(每 rank 约 172.74 GB)做 CUDA checkpoint 与恢复,优化后整体提速达 15 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。