Hacker News· coylone·· 2 小时前AI 评分34
Go 与 Python 做 LLM 网关对比：KTMS 与 LiteLLM 实测数据
Go vs. Python for an LLM Gateway: What We Measured
AI 导读
自托管 LLM 网关 KTMS 用 Go 编写，在相同硬件上与 Python 版 LiteLLM Proxy 对比：中位延迟约 0.6 ms 对 8.5 ms，首 token 约 0.7 ms 对 160 ms。
来源：Hacker News · blog.ai-process.dev