Hacker News· dannyboland·· 2 小时前AI 评分58
Sturnus 发布基于延迟的 LLM 负载均衡器
Show HN: Sturnus, a latency-based LLM load balancer
AI 导读
Sturnus 发布基于延迟的 LLM 负载均衡器，以单个静态二进制作为 sidecar 运行，暴露 OpenAI 兼容 API，自动把流量切到当前最快且可用的供应商。
来源：Hacker News · github.com
Sturnus 发布基于延迟的 LLM 负载均衡器