跳到正文
Hacker News· maxloh·· 2 小时前精选AI 评分82

NVIDIA 发布 Nemotron 3.5 Super 与 Lightning 开源模型

Nvidia Nemotron 3.5 Super and Lightning

AI 导读

NVIDIA 发布 Nemotron 3.5 Super 和 Nemotron 3.5 Lightning 两款开源 MoE 混合 Mamba-Transformer 模型,Super 为 120B 参数、12B 激活的多模态模型,Lightning 为 30B 参数、3B 激活的文本模型,均支持最长 100 万 token 上下文。

推荐理由

原文给出两款 MoE 混合 Mamba-Transformer 模型的参数规模、训练阶段与基准结果,便于比较其效率取舍。

来源:Hacker News · research.nvidia.com