跳到正文
Hacker News· frostbyte7·· 2 小时前AI 评分34

Marble:面向打包多模态掩码的精确序列并行方案

Marble: Exact sequence parallelism for packed multimodal masks

AI 导读

Marble 是面向打包多模态序列的序列并行方案,以块稀疏规划和逐 token 元数据在 rank 间均衡负载,并用在线 FA4 kernel 在 ring 步骤间以 fp32 保留 softmax 状态,使输出与梯度对齐单 GPU 结果。

来源:Hacker News · lumalabs.ai