Hacker News· sanchitmonga22·· 2 小时前AI 评分58
RunAnywhere 用 NKI 层 megakernel 在单台 Trainium2 上服务 GLM-5.3-Flash
Serving GLM-5.3-Flash on one Trainium2 box with NKI layer megakernels
AI 导读
RunAnywhere 在单台 AWS trn2.48xlarge（16 颗 Trainium2）上服务 320B 参数、百万 token 上下文的 GLM-5.3-Flash，把每层解码重写为 NKI megakernel。
来源：Hacker News · runanywhere.ai