用Gluon在V100上绕过Triton降级启用Tensor Core

Triton 3.3 起在 sm_80 以下架构上将 tl.dot 降级为标量 FMA，导致 V100 上的矩阵乘全部跑在 CUDA Core 上、无法使用 Tensor Core。benkelaya 分享了一种用 Gluon 和 mma.sync 自行编写内核的方法，称可让 V100 的 HMMA.884 Tensor Core 被调用，且不依赖 Triton 之外的本地代码、外部库或旁加载 cubin，也不降级 Triton。 该方案按配置生效：不含 matrix_unit 的配置保持原有 tl.dot 内核不变；head dim 被拆成至多两个 2 的幂（如 96 = 64 + 32），不补齐到下一个 2 的幂。相关探测代码与扫描输出放在 tools/tensor_cores_m8n8k4/ 中。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。