百度开源文心5.5 Flash Base基座模型

百度于11月5日开源基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base），采用稀疏 MoE 架构，总参数量2800亿，每个 Token 激活140亿参数，在33.5万亿 Token 上从零预训练，预训练上下文最高128K，微调与推理阶段支持最长100万 Token 上下文。百度称其在多基准测试中刷新同尺寸模型 SOTA。 百度表示，此次发布的检查点取自预训练结束阶段，未经过任何中训练或后训练；模型以 FP8 和 BF16 两种格式在 Hugging Face 提供，适用 ERNIE 5.5 Flash Base Model License Agreement v1.0。百度称经过后训练的 ERNIE 5.5 Flash 将随后发布。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。