Modelplane 分享 LLM 服务变更容量测试方法

Modelplane 团队公开了一套为编码智能体测试 LLM 服务变更的容量方法：每个候选配置分配 2 小时 GPU 时间（含部署与回滚），先跑成本低的测试，配置有问题几分钟内即失败；每步预热后运行 5 分钟，KV 缓存写满即停止扫描。 团队用 2 节点、16 张 RTX PRO 6000 运行 GLM-5.3，服务约 10 名工程师的编码智能体试点。实测 2 节点无法支撑 15 人团队，改用 4 节点运行 SGLang 则可以，成本约等于当前每名工程师的支出。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。