跳到正文
Hugging Face Blog·· 1 小时前精选AI 评分78

NVIDIA 发布 Nemotron 3.5 Transcribe 与 Granary v2 数据管线

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt

AI 导读

NVIDIA 发布开放权重模型 Nemotron 3.5 Transcribe，把转写、说话人分离、翻译和音频问答合入同一 checkpoint，支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人分离，可处理最长 1 小时录音并标注最多 8 位说话人。

推荐理由

原文给出多语言转写、说话人分离与翻译的统一权重，并附可复用的数据管线和微调配方。

正文 · AI 翻译

一个开放模型，支持多语言转录、说话人归属、翻译和音频问答，在排行榜上名列前茅，并提供开放的 Granary v2 数据管线和微调配方以便适配。

转录文本可以捕捉每一个说出的词，却仍让用户或应用不知道是谁说了什么、如何翻译，或如何格式化特定领域的术语。多语言通话、快节奏会议和医疗口述各自需要不同的输出：翻译、说话人标签或拼写正确的医学术语。

NVIDIA Nemotron 3.5 Transcribe 是一个开放权重、可提示的模型，可将录制的语音转换为有用的文本，现已在 Hugging Face 和 ModelScope 上提供。它将转录、说话人归属（说话人分离）、翻译和音频问答整合到一个检查点中：可转录 40 种语言，可在 31 种语言与英语之间互译，并可在 13 种语言中归属说话人。它可处理长达一小时的录音，并标记最多八位说话人。开发者可以用自然语言引导输出，选择音频处理的位置，并使识别适配领域词汇和口音。

Transcribe 在 Hugging Face Open ASR Leaderboard 的英语开放权重模型中排名第一，并位于 Artificial Analysis 的准确率–活跃参数前沿。在说话人归属方面，它在 David AI 的 21 语言说话人分离排行榜上创下最低错误率，并在 VoiceArena 的 14 系统对比中排名第一。它可在单块 NVIDIA GPU 上运行，从 DGX Spark 到 Blackwell 数据中心系统。

Granary v2 的多语言数据（可在 Hugging Face 和 ModelScope 上获取）和可复用的数据整理管线，连同 NeMo Speech 微调工具，将提示级控制扩展到训练：开发者可以定义所需的书面形式，并使模型适配其应用所遇到的语音。在一项医疗案例研究中，微调将留出说话人上的词错误率（WER）相对于最佳提示降低了 45.8%。

用自然语言引导转录和分析

同一个检查点可以根据指令将一次会议录音转换为不同的输出：

  • “转录这段录音并标记每位说话人。”
  • “将这段音频翻译成英语。”
  • “这次会议做出了哪些决定？”

在下方视频中体验该模型的实际运行，它处理了 1940 年怪诞喜剧《女友礼拜五》中的经典场景——这部电影以其快速、大量重叠的对话而闻名。

Nemotron 3.5 Transcribe 为《女友礼拜五》（1940）中的一个场景生成字幕并标记说话人，包括重叠的对话。

对于不熟悉的术语，先尝试上下文，再考虑训练。例如，在医疗环境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡提供了推荐的预设，包括音频问题的推理，以及完整的提示指南和按任务划分的语言矩阵：语言支持因任务而异，音频问答以英语训练。还支持词级时间戳。与任何语音模型一样，请对照录音抽查姓名、说话人变化和答案。

从直播课堂到持久的课程。 Agora 的实时语音和视频平台为应用中的实时对话提供支持，其在课堂演示中使用了词级时间戳：Nemotron 3.5 Transcribe 将录制的课程转换为转录文本，并与回放一同显示，让学生能够看到说了什么以及何时说的。Agora 的博客详细介绍了他们是如何构建的。

从转录到说话人归属的排行榜领先

在开放权重模型中，Transcribe 在“说了什么”方面领先；在“谁说的”方面，它 outright 位居两项说话人归属基准测试榜首。

Hugging Face Open ASR Leaderboard。 该排行榜以词错误率（WER）衡量公开测试集上的转录准确率，分为三个赛道：

  1. 英语：在开放权重模型中排名第一，平均 WER 为 5.33%（图 1）。
  2. 多语言：七种语言的平均 WER 为 4.62%，是模型卡 Open ASR 对比中评估的开放权重模型里最低的。
  3. 长音频：平均 WER 为 10.98%，同样是该对比中最低的。

Hugging Face Open ASR English Open (2) Leaderboard table showing model rankings on the Hugging Face English Open ASR leaderboard, with columns for rank, model, average WER, RTFx, and dataset scores. nvidia/Nemotron-3.5-Transcribe is ranked first among open-weight models with an average Word Error Rate (WER) of 5.33% and an RTFx of 462.09.

图 1. Nemotron 3.5 Transcribe 在 Hugging Face Open ASR Leaderboard（英语）上以 5.33% 的平均 WER 在开放权重模型中排名第一，API 模型已排除在外。WER 越低意味着转录错误越少。

Artificial Analysis Speech-to-Text Leaderboard。 Artificial Analysis 以其词错误率指数 AA-WER 独立对语音转文本模型进行排名。Nemotron 3.5 Transcribe 以 2.8% 的 AA-WER 在开放权重模型中并列第一，其活跃参数约为 4B，而与之并列的模型为 24B。在 AA-AgentTalk 上——该留出的语音智能体语音集占 AA-WER 指数的 50%——Transcribe 的 WER 得分为 1.8%，而次优开放权重模型为 2.3%。Transcribe 将其语音编码器与混合 Mamba–Transformer 专家混合语言模型配对，因此其 30B 参数中每个 token 仅有约 4B 处于活跃状态。这使其位于 Artificial Analysis 的准确率与活跃参数开放权重帕累托前沿上。在 AA 的全模型图表中，它排名领先于多个广泛使用的专有语音 API。

ArtificialAnalysis-WER vs Model Size (Open Weights) (22 Oct '26)Scatter chart from Artificial Analysis plotting word error rate (AA-WER, non-streaming) against active parameters on a log scale for open-weight speech models. Nemotron 3.5 Transcribe sits on the Pareto frontier at about 4B active parameters and 2.80% WER.

图 2. 领先的 AA 准确率，活跃参数约为六分之一：Nemotron 3.5 Transcribe 以约 4B 活跃参数实现 2.80% 的 AA-WER。

跨语言和重叠语音的说话人归属。 Sortformer 说话人线索与声学特征一同到达语言模型，因此 Transcribe 可以在生成过程中标记每个话轮，而不必仅依赖后续步骤将说话人附加到词上。

David AI DAI-ASR-I18N Leaderboard。 在 David AI 的 DAI-ASR-I18N 转录与说话人归属联合赛道上，Transcribe 在评估的开放权重模型中排名第一，总体排名第二。在该基准的说话人分离赛道（对 21 种语言中谁在何时说话进行评分）上，它在 14 个测试系统中拥有最低的说话人分离错误率，略领先于 NVIDIA 专用的 Nemotron 3 Diarization 模型。

DavidAI_Nemotron_3.5_Transcribe_Diarization_Accuracy Bar chart from David AI’s DAI-ASR-I18N benchmark ranking diarization systems by overall diarization error rate (DER) across 21 languages, where lower is better. Nemotron 3.5 Transcribe ranks first at 18.26%, followed by Nemotron 3 Diarization at 18.38%; the remaining open-weight and proprietary systems range from 22.85% to 37.55%

图 3. NVIDIA 模型在 David AI 的多语言说话人分离排行榜上占据前两名：Nemotron 3.5 Transcribe 创下最低的总体说话人分离错误率（DER），在 21 种语言上为 18.26%，紧随其后的是 Nemotron 3 Diarization，为 18.38%。DER 衡量说话人时间错误；越低越好。

VoiceArena Diarization-Bench。在VoiceArena 的英语完整会话基准上，Transcribe 在 14 个系统中取得了最低的拼接最小排列词错误率（cpWER），并在线下和线上两种设置中均排名第一。它的漏词也最少：删除词占参考词的 8.32%，而中位数约为 31%。

VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%

图 4。NVIDIA 模型在VoiceArena 的 14 系统对比中占据前两名：Nemotron 3.5 Transcribe 以 32.4% cpWER 领先，NVIDIA Multitalker Parakeet 搭配 Nemotron 3 Diarization 以 34.2% 位居第二。Diarization-Bench v1 涵盖英语完整会话、重叠语音以及 2–8 位说话人。cpWER 在匹配说话人标签后统计词错误；数值越低越好。

更多评测。Ocular AI 的 Converse-STT 评测将 Transcribe 列为排名最高的开源模型。Josh Talks 的Voice of India 排行榜报告了 Transcribe 在多种印度语言上的结果。

从边缘到数据中心均可运行。Transcribe 可在单块 NVIDIA GPU 上运行，从 Jetson AGX Thor 和 DGX Spark 到 Blackwell 数据中心 GPU。在一块采用 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上，它以高并发处理 30 秒片段时测得可在三分钟内处理 100 小时音频。

今天即可用 vLLM 部署该检查点，或用 NeMo-Speech.cpp 在本地运行。Transcribe 面向录制音频，而非实时流式传输。

专业录音仍可能需要针对领域词汇和转写惯例进行适配。Granary v2 和 NeMo Speech 微调可解决这一问题，起点是 Transcribe 背后的数据。

Granary v2：Transcribe 背后的开放数据整理流水线

可提示的语音模型需要具有明确格式目标的训练数据。Granary v2 是 Hugging Face 和 ModelScope 上 Nemotron 语音合集的一部分。它使用 NVIDIA NeMo Curator 构建，其可复用流水线准备了 Nemotron 3.5 Transcribe 训练中使用的多语言语音，产出对齐的转写变体、任务标签和可检查的质量元数据。公开清单涵盖 48 种语言、16 个来源语料库，共 463,062 小时，相比 Granary v1 的 25 种语言有所增加。这些数字描述的是数据集发布内容，而非 Transcribe 的完整训练混合或其采样权重。

Granary v2 为每段录音生成三种转写形式（表 1），即开发者可通过提示向 Transcribe 请求的逐字风格和干净风格。除转写外，该流水线还生成短音频描述、借词的语码转换还原、基于语音的问答对、上下文 ASR 偏置词，以及带自动质量评分的翻译。

训练目标 示例转写
文本规范化，逐字 I paid, uh, twenty-five euros.
逆文本规范化，保留不流畅 I paid, uh, €25.
逆文本规范化，去除不流畅 I paid €25.

表 1。Granary v2 针对同一话语的训练目标。

该流水线组织为四个可复用阶段：

  • 1. 音频准备（元数据）：对原始或长音频进行分段，在整个录音中跟踪说话人，并标记声学事件和语言。Granary v2 的来源已经过分段，因此本次发布跳过了此阶段。
  • 2. 转录（ASR）：将每种语言路由到主 ASR 模型和恢复 ASR 模型，当主模型未通过幻觉检查时回退到恢复模型。人工参考转录有助于保留可信的拼写，同时添加口语形式和语流不畅。
  • 3. 任务标签生成（文本）：派生转录变体，然后检查字符率、幻觉模式以及模型或人工参考的一致性。只有被接受的记录才会获得上下文 ASR 术语和翻译。
  • 4. 高保真（HiFi）：过滤掉嘈杂、被裁剪或包含多个说话人的片段，保留一小部分高质量录音用于 ASR 之外的用途。对于 VoxPopuli 数据集，它将 22 种欧洲语言的 354k 小时缩减至 111k 小时。

fig6-granary-v2-pipeline-redesign Diagram of the Granary v2 curation pipeline following one roughly 12-minute sample from raw audio to a training target. The Metadata pipeline segments the audio with voice activity detection and diarization and identifies the language. The ASR pipeline transcribes a segment with a primary and a fallback model and keeps the best prediction, “Like, Granary-v2 is, uh, making every word matter.” The Text pipeline derives tn_raw, itn_raw, and itn_clean transcripts, plus translations, a caption, a speech Q&A pair, and context-ASR terms. The training view packs these into an instruction pair that maps “Transcribe without disfluencies” to “Granary-v2 is making every word matter.”

图 6. Granary v2 数据整理流水线，跟随一个样本从原始音频经过元数据、ASR 和文本阶段到训练示例。

开发者可以在自己的录音或授权的公共语料库上，使用 Ray 和 NVIDIA Dynamo 后端运行 NeMo Curator 流水线，或基于 Granary v2 公共清单构建。清单包括三种转录形式 tn_raw、itn_raw 和 itn_clean，上述标签、实体提示、派生指令对、来源以及每条记录的质量标志。请根据每个语料库的原始许可证单独下载源音频，并遵循发布版本的公布条款。

让识别适应重要的词汇

从指定语言、文字和转录格式的开发集提示开始。在下面的案例研究中，在提示中指明英语和拉丁字母将全基准 WER 从 30.8% 降至 23.8%。对于仍然存在的领域错误，NeMo Speech 微调工作流将代表性语音与明确的书面目标配对。

NeMo Speech 医疗 ASR 案例研究在 Eka Care 的开放基准上展示了这一进展，该基准包含来自印度医生和医学生的录音，共有 3,619 个片段，且没有指定的训练集划分。该研究从生成的医疗文本和公共医学目录构建适应数据，然后结合约 153 小时的合成语音、来自 Common Voice 的 29 小时带口音英语以及来自 MultiMed 的 63 小时医疗录音。

fig7-eka-care-62pct-rebrand Bar chart titled “62% fewer transcription errors” for the Eka Care medical ASR benchmark of Indian medical speech. On the full test set, word error rate falls from 30.8% out of the box to 23.8% with a better prompt that names English and the Latin alphabet, and to 11.8% after fine-tuning. Side labels note about 14 GPU-hours on one NVIDIA GB300 and about 153 hours of synthetic speech plus 92 hours of public accented and medical speech

图 7. 在 Eka Care 印度医疗语音基准的完整测试集上，更好的提示将 WER 从 30.8% 降至 23.8%，微调将其降至 11.8%，与开箱即用的模型相比转录错误减少约 62%。完整集包括用于选择提示和检查点的 855 个调优片段；下面的留出结果是更干净的测试。

合成生成将书面目标与其口语呈现分开：“HbA1c”是标签，而“H B A one C”被发送给合成器。多个 TTS 声音拓宽了音频；真实录音增加了口音和录音条件。训练文本经过过滤，以匹配基准参考中的精确匹配和共享的八词序列。

与 Granary v2 的显式目标一样，训练样本会变化数字、单位间距、公司名称展开形式和品牌名连字符，并在指令中明确指定所需的约定。部分提示包含带有近似干扰项的术语列表，使模型学会仅在音频支持时才采用某种拼写。最终系统使用一个固定的约定提示和一次模型前向，不进行检索或转写后处理。

该方案训练语音编码器和投影层，并使用 LoRA 适配语言模型。两次运行使用不同的数据混合；适配器合并后，选定的检查点被均匀平均为一个最终模型。检查点选择依据解码后的开发集结果，而非仅凭训练损失。从文本生成到评估的整个适配过程在一张 NVIDIA GB300 上耗时约 14 GPU 小时。

在留出说话人上测得的领域增益

该研究按说话人将基准划分为 855 个调优片段（用于选择提示和检查点）和 2,764 个留出片段（每个最终系统解码一次）。使用 Eka Care 的 KARMA 评分流水线，微调将留出集 WER 从最佳提示基线的 22.44% 降至 12.17%，相对降低 45.8%，这是增益可泛化到新说话人的最清晰证据。关键词 WER 从 9.2% 降至 6.5%，语义 WER 从 10.0% 降至 7.6%。在相同的留出说话人和评分器上，适配模型的 12.17% WER 优于一个开放医疗专用模型（13.79%）和一个广泛使用的通用 ASR 模型（14.92%）。

在通用英语上，LibriSpeech test-clean WER 略有上升，从 1.54% 升至 1.69%。医疗专用模型在品牌药和诊断名称的精确匹配上仍然领先；该研究指出，下一步是使用临床医生说出品牌名的真实录音。对于你自己的领域，请保留至少 100 个真实、有标注的片段用于检查点选择，并在评估通用语音保持能力的同时，评估你的应用所依赖的实体类型。

该案例研究包含复现每个步骤的命令。微调教程涵盖方案、资源需求以及训练、导出和评估工具，包括新语言和语码转换 ASR。配套的 agent skill 让编码智能体运行整个工作流，从基线选择和数据检查到训练验证、适配器合并和评估。

ModelScope 还让开发者能够通过其 ms-swift 框架微调 Nemotron 3.5 Transcribe，以用于专门的多模态应用。

开始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 演示或 ModelScope Studios 中试用 Nemotron 3.5 Transcribe，然后从 Hugging Face 或 ModelScope 下载检查点，并使用 vLLM 部署指南进行服务。

如需跳过自托管，可使用来自 Baseten、DeepInfra 或 Simplismart 的托管端点。

要将其适配到你的领域，请从 Hugging Face 或 ModelScope 上的 Granary v2 清单以及医疗 ASR 案例研究开始，或让编码智能体通过微调 agent skill 驱动工作流。

模型与数据集

代码仓库与教程：NVIDIA NeMo Speech GitHub | NeMo Curator Granary v2 Pipeline | vLLM 部署指南 | 语音微调指南 | 微调 Agent Skill
*合作伙伴博客：Agora | Inflection AI | VoiceArena | Simplismart *
本地 AI：NVIDIA RTX PC、笔记本电脑和 DGX Spark 上本地 AI 的新特性

来源：Hugging Face Blog · huggingface.co

NVIDIA 英伟达语音与音频开源生态模型发布#模型发布#语音#开源/仓库#Hugging Face