为什么你需要自己运行 LLM 代理来掌握模型调用情况

作者主张开发者应自行部署 LLM 代理，而非依赖模型厂商提供的用量统计。自建代理可在单一端点接入多家供应商和模型，记录哪个密钥在何时调用了哪个模型及状态，并用虚拟 API key 避免主密钥散落在各处。作者称借助代理的 API，可在 20 秒内手工定位编码会话中的缓存未命中原因。