RunAnywhere 在单台 Trainium2 上部署 GLM-5.3-Flash

RunAnywhere 称已在单台 AWS trn2.48xlarge（16 颗 Trainium2）上服务 320B 参数、百万 token 上下文的 GLM-5.3-Flash，做法是把每层解码重写为 NKI megakernel：普通层每半层一个内核，稀疏注意力层每整层一个，并配套前缀缓存，把各 agent 的上下文留在设备与主机内存中。 其自测的 AgentX 结果由 agentx-harness 1.0.7 单次运行得出；内核只针对每实例 1 至 12 行的批大小构建和测试，超出未测。RunAnywhere 表示尚未在相同 trace 上跑 GPU，因此没有 P5 对比数据。引擎代码以 Apache-2.0 开源于 github.com/RunanywhereAI/trnrt。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。