Hacker News· coffeemug·· 2 小时前AI 评分58
Ubicloud 如何用 vLLM 约束解码修复工具调用准确率
Fixing Tool-Call Accuracy in vLLM
AI 导读
Ubicloud 工程师称用 vLLM 0.28 服务 Kimi K2.6 时工具调用 schema 准确率只有 92%,启用 vLLM 0.31 的约束解码服务端开关后,在 K2VV ToolCall 基准上达到 100%。
来源:Hacker News · ubicloud.com