Hacker News· maxloh·· 2 小时前精选AI 评分82
NVIDIA 发布 Nemotron 3.5 Super 与 Lightning 开源模型
Nvidia Nemotron 3.5 Super and Lightning
AI 导读
NVIDIA 发布 Nemotron 3.5 Super 和 Nemotron 3.5 Lightning 两款开源 MoE 混合 Mamba-Transformer 模型,Super 为 120B 参数、12B 激活的多模态模型,Lightning 为 30B 参数、3B 激活的文本模型,均支持最长 100 万 token 上下文。
推荐理由
原文给出两款 MoE 混合 Mamba-Transformer 模型的参数规模、训练阶段与基准结果,便于比较其效率取舍。
来源:Hacker News · research.nvidia.com