跳到正文
Hacker News· coffeemug·· 2 小时前AI 评分58

Ubicloud 如何用 vLLM 约束解码修复工具调用准确率

Fixing Tool-Call Accuracy in vLLM

AI 导读

Ubicloud 工程师称用 vLLM 0.28 服务 Kimi K2.6 时工具调用 schema 准确率只有 92%,启用 vLLM 0.31 的约束解码服务端开关后,在 K2VV ToolCall 基准上达到 100%。

来源:Hacker News · ubicloud.com