Hacker News· d-ramdass·· 2 小时前AI 评分38
如何为编码智能体测试 LLM 服务变更：每次变更需两小时 GPU
How we test LLM serving changes for coding agents, two hours of GPUs per change
AI 导读
Modelplane 团队用 2 节点 16 张 RTX PRO 6000 跑 GLM-5.3 服务约 10 名工程师的编码智能体试点，实测 2 节点无法支撑 15 人团队，4 节点运行 SGLang 则可，成本约等于当前每名工程师的支出。
来源：Hacker News · upbound.io