跳到正文
NVIDIA Blog· Kari Briski·· 4 小时前精选AI 评分74

NVIDIA 发布 Nemotron 3.5 Super VL 与两款 Bolt 端侧模型

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

AI 导读

NVIDIA 发布开放模型 Nemotron 3.5 Super VL,120B 参数,主打多模态智能体任务,官方称其吞吐量最高可达同类模型的 5 倍,并称以约五分之一参数量达到接近其最大推理模型的准确率。

推荐理由

NVIDIA 一次放出三款覆盖数据中心到端侧的开放模型,并给出参数、内存占用与部署工具链,便于对照选型。

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

NVIDIA 今日发布 Nemotron 3.5 Super VL,这是一个开放的 1200 亿参数模型,为专用常驻智能体带来最快的任务完成速度和最高的准确率。

同时加入的还有两个新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB,针对本地智能体工作负载优化,以平衡每 GB 的智能与速度;以及 Nemotron 3.5 Bolt E4B 4GB,针对快速对话式智能体优化每 GB 的智能。

Super VL 和 Bolt 74B-A9B 现已可用,Bolt E4B 将于 10 月 23 日推出。

这三个开放模型共同覆盖了智能体部署的全部范围,从大型企业服务器一直到边缘设备和本地硬件。 

任何希望在 NVIDIA 基础设施上运行智能体的组织,现在都能获得针对其层级优化的开放模型,无需在能力和可部署性之间做出选择。 

Super VL 和 Bolt 与Lightning和 Ultra 一同加入 Nemotron 家族。 

8 月发布的 Lightning 处理高吞吐量工作负载;Ultra 处理最困难的推理任务;Bolt 将智能带到边缘。 

Nemotron 3.5 Super VL:以五分之一的大小实现前沿准确率

Super VL 与Nemotron Coalition合作构建,在多模态智能体任务——指令遵循、工具使用、多步骤业务工作流和视觉理解——上提供领先的准确率,可与 NVIDIA 最大的推理模型相媲美,而参数量仅约为其五分之一。

Nemotron 3.5 Super VL 在其类别中为高容量智能体工作流提供前沿级智能。

作为其类别中最快的开放智能体模型——比次优模型快 5 倍——它帮助企业在跨越数天或数周的工作流中更快完成高容量任务。 

Nemotron 3.5 Super VL 在 Artificial Analysis Intelligence Index 排行榜上,相比同类其他模型实现最高 5 倍的吞吐量。

与封闭的前沿模型不同,组织可以在自己的数据上对 Super VL 进行后训练,将其部署在自己的基础设施上,并监督自己所构建的内容。

Nemotron 3.5 Bolt:边缘的智能体智能

Bolt 74B-A9B 24GB 旨在 NVIDIA RTX/DGX Spark 上本地运行日常智能体任务,使用原生 2 位量化以适配 24GB 内存,并与其他应用程序一同运行。

相对于其他内存占用相似的模型,它提供了智能与速度的良好平衡:足够聪明以完成大多数工作,但比最聪明的模型快得多。

借助 Bolt 74B-A9B 24GB,用户可以将项目委托给流行的本地智能体框架——从研究网络到写作再到调试代码——而无需将这些工作负载发送到云端。它是PinchBench上其类别中排名第一的开放模型,也是BrowseComp上排名第二的开放模型。

Bolt E4B 4GB 专为 GeForce RTX、Jetson 和 RTX/DGX Spark 上的物理和对话式智能体打造。它将自然对话与多轮智能体能力相结合,为快速本地语音助手、互动角色和嵌入式界面提供支持。 

自定义超级智能的采用

各行各业数十家组织正在用自己的数据、工具、策略和工作流对 Super VL 进行后训练,以在定义其智能体部署的专业任务上进一步提升准确率。 

Super VL 正被各行各业的组织进行后训练和定制。Scale AI为 Skydance 的供应商信贷金融智能体和 EY 的并购尽职调查智能体后训练了该模型。 AfterQuery为 Hebbia 定制了该模型,用于信贷协议分析。AI21 和 Alice为该模型进行了后训练,用于网络安全攻击韧性。 Mercor 在 APEX-SWE 编码基准上对该模型进行了后训练,用于规划、编写和调试代码的编码智能体。ModelScope 使开发者能够通过其 ms-swift 框架针对专业多模态应用微调该模型。

其他定制 Nemotron 3.5 Super VL 的组织包括 Ramp ,用于金融文档智能;Dream,用于主权 AI 驱动的网络安全研究和漏洞分析; Lila Sciences ,用于科学发现和搜索,以及 R1 ,用于医疗理赔分析和收入周期管理。TrainLoop使用来自 Nolla 的皮肤病学数据对该模型进行了后训练,Nolla 刚刚成为首家获批由 AI 开具初始患者处方的公司。

集成 Nemotron 3.5 Super VL 的软件平台公司包括: 

  • Atlassian, ,用于跨 Jira 和 Confluence 等应用的智能体搜索等任务。
  • CrowdStrike,正在为该模型进行定制,用于企业安全中的智能体蓝队。
  • Dassault Systèmes,为工程设计和仿真提供支持。 
  • Perplexity,用于 Perplexity Search 和 Computer 中的搜索和智能体任务。
  • Salesforce,正在定制 Nemotron,以通过 Missionforce Operations 在安全的客户环境中驱动 AI 智能体,实现复杂政府工作流的数字化和自动化。
  • Synopsys用于半导体设计验证的软件与该模型互操作。

Nemotron 3.5 Super VL 实际看到的内容

Nemotron 3.5 Super VL 的 视觉语言优势针对的是智能体在实践中遇到的内容:光学字符识别、表格、图表以及视觉文档中的结构化信息。 

它处理网页、提取文本、读取图形和图表,并根据发现返回洞察。这同样适用于 PDF 和智能体常用的其他文档。

Nemotron 3.5 Super VL 理解图像、网页和 PDF,并基于这种理解采取行动。将文本和视觉理解结合在一个模型中,意味着智能体无需在独立系统之间路由任务——当工作从文档推进到数据再到决策时,上下文得以贯穿始终。 

开放以实现最大程度的控制、安全和隐私

开放性和可定制性相辅相成。该模型随附开放权重、开放数据集和训练配方。

控制权掌握在两个方向上。企业可以在其安全和数据驻留要求所规定的任何地方运行该模型。他们也可以选择采用一个可以自行调整的模型,而不是受制于提供商限制的模型。

例如,在保险行业,定制化代理可以反复扫描理赔中的欺诈标记。在金融服务领域,代理可以审查信用评分,并根据组织自身的贷款标准标记相关活动。模型留在本地。数据保持私密。

定制化通过 NVIDIA NeMo、基于 Python 的流水线和开放数据集提供支持。

Nemotron 3.5 Super VL was trained on about 26 trillion tokens across pretraining and continued pretraining, then post-trained with roughly 3.8 million samples and reinforcement learning across dozens of environments.

NVIDIA is also releasing open datasets on Hugging Face spanning agentic tool use, finance, instruction following, long context, fairness and vision-language understanding, along with the reinforcement learning environments in NeMo Gym.

NVIDIA NIM 将该模型打包为生产就绪的微服务,具有性能优化、经过验证的配置和企业级支持,每两周刷新一次,包含安全补丁和性能改进。

借助在 NVIDIA Dynamo 上运行的该模型,企业可以以低 85% 的延迟服务多达 8 倍的用户。

Nemotron 3.5 Super VL is available now on Hugging Face, Open Router, ModelScope community and as NVIDIA NIM.

可在 DGX Spark、DGX Station 和 RTX  上运行

Nemotron 3.5 Super VL runs across NVIDIA’s full hardware stack: on DGX Spark, DGX Station,  RTX PRO and RTX systems for local intelligence at the desktop, on NVIDIA Jetson at the edge, and across data center and cloud environments.

Nemotron 3.5 Bolt 74B-A9B 24GB 现已在 Hugging Face 上提供,支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。它专为 10 月 16 日推出的 NVIDIA RTX Spark 笔记本电脑打造,也可在 GeForce RTX PC、DGX Spark、DGX Station 和 RTX PRO 工作站上运行。

Download the open weights, explore customization resources with NVIDIA NeMo, or read the technical blog for the full architecture breakdown.

订阅 NVIDIA news、 加入社区,并在 LinkedIn、 Instagram、 X 和 Facebook 上关注 NVIDIA AI,及时了解 agents、NVIDIA Nemotron 等更多内容。

探索 自定进度的视频教程和直播。

查看 关于软件产品信息的通知。

来源:NVIDIA Blog · blogs.nvidia.com