跳到正文
Hacker News· CrankyBear·· 1 小时前同新闻AI 评分78

llm-d 1.0 发布,将开源 Kubernetes AI 推理推向生产环境

LLM-D 1.0 Takes Open-Source Kubernetes AI Inference into Production

AI 导读

CNCF 开源项目 llm-d 在 PyTorch Conference 上发布 1.0 版本,为 Kubernetes 原生分布式 LLM 推理栈新增多租户服务质量、高可用路由、稳定的 v1 配置 API 和面向智能体的服务能力。

同一新闻,精选展示《Google 联合 Red Hat、IBM 发布 llm-d 1.0 分布式推理开源栈》

来源:Hacker News · techstrong.ai