IBM 发布 Granite Switch 4.1，单一端点支持对话、决策与语音

去年春天推出的 Granite Switch 项目实现了模块化的模型开发方法。如今，配备 Decision 适配器和 OpenASR 排行榜上最快 ASR 模型的 Granite Switch 4.1 模型，可以在自然语言响应、通用与专用决策以及语音转文本任务之间高效切换——全部通过一个托管端点完成。

具体来说，Granite-Switch-4.1-8B 和 -30B 模型配置包含：

新的 Decision aLoRA，用于通用决策（例如 v1/systemone），
专用的 Guardian aLoRA，在安全相关决策任务上平均表现优于 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash，以及
Granite-Speech-5.0-Turbo-CTC，OpenASR Leaderboard 上最快的 ASR 模型，已嵌入用于转录任务。

这三项技术（连同底层基础模型）被组合成一个模型，在 GPU 上占用的显存大约与基础模型单独占用时相同。这意味着用更少的 GPU 获得更多能力。

而且由于 Switch 适配器是作为缓存高效的 Activated LoRA 构建的，基础模型生成时创建的 KV 缓存可以复用于任何后续基于适配器的决策。结合我们团队近期对 vLLM 的贡献以加速低秩适配器推理，以及同址部署的 ASR 编码器，Granite Switch 4.1 模型可以在聊天请求、决策请求和语音请求之间以极快速度切换。

欢迎体验我们的 Speech-to-Decisions HF space，其中 granite-switch-4.1-8b 可转录音频、生成摘要、筛查有害内容，并测试其他 15 个用户自定义标志——全部在单个端点上实时运行。

Granite Libraries：元老级决策模型

决策模型并不新鲜。我们此前发布的 Granite Libraries 包含一个专用“决策模型”适配器及其他专用任务适配器的仓库，可组合成自定义 Granite Switch 模型。虽然 Jev 和其他闭源决策模型专注于通用性，但我们发现许多专用的 granitelib 适配器在专用分类任务上可以超越通用模型。

比较 granitelib 适配器与通用决策模型在专用分类任务上的评估表现。

由于适配器共享基础模型的 KV 缓存，在通用决策适配器之外添加专用适配器几乎不增加成本。你既能获得通用模型的广泛覆盖，又能在你关心的任务上获得专用模型更高的准确率。

在 Granite-Switch-4.1-30B（冻结基础 Granite + 4 个专用 aLoRA）与 Jev-27B（冻结基础 Qwen 模型 + 1 个通用决策 LoRA）的“竞赛”中，Granite-Switch-4.1-30B 能够比竞争对手更快地完成一个真实世界的 5 步 RAG 工作流。

组合并扩展你自己的 Granite Switch 模型

Granite-Switch-4.1-8B 和 -30B 发布时“自带电池”。它们是我们用一组预定义的有用适配器编译而成的 Granite Switch 模型。但你不需要使用我们的版本。任何人都可以组合自己的 Granite Switch 模型，从 Granite Libraries 中混合搭配适配器，以最好地满足自身需求。

展望未来，我们看到社区有巨大的机会，可以用自定义和第三方适配器来组合和扩展 Granite Switch 模型。我们计划发布一个 Adapter SDK，用于在 Mellea 中训练适配器，同时还会提供其他教程和 Granite Switch 支持。这些适配器可以是专门的分类适配器，用于增强基于决策的工作流，也可以是用于专门语言任务的适配器。你甚至可以使用自定义适配器来教一个 3B 参数版本的 Granite 玩经典游戏 Doom。

与 Jev 类似，我们的自定义 3B 参数 Granite Switch 模型也能在 Doom 游戏中做出瞬间决策，但能够以每秒 60 - 100 次决策的速度完成，而 Jev 报告的速度为每秒 10 次决策。¹ 与 Jev 不同的是，这个 Granite Switch 模型在玩游戏时还能进行叙述并回答你的问题。

我们期待在未来几周内发布更多关于 Granite Switch 的细节和数据，但在此之前，我们鼓励你试用我们最新的 Switch 模型以及这些其他有用的入门资源。

入门资源

脚注

¹ https://typesafe.ai/blog/introducing-system-one-models-and-jev