跳到正文
只看观点#数据/训练
今天10月15日周四1 条
10月14日周三
8月24日周一
  1. Andrew Ng62

    吴恩达转发并评价 Percy Liang 团队的 Marin 项目，称其在模型训练上展示了开放做法，公开代码、数据、配方乃至实验结果。被引内容显示，Marin 535B-A23B 本周启动训练，预训练占 80%、中期训练占 20%，共 18.75T tokens，使用 11 台 GB200 NVL72，约 3 个月完成，算力规模 2.7e24 FLOPs，后续还有后训练。启动前团队先跑了从 1.6B-A61M（48B tokens）到 27.7B-A1.2B（926B tokens）的四级扩展阶梯以排查问题并预测主训练结果。

    引用Percy Liang@percyliang

    🚢 Marin 535B-A23B started training this week! As usual, the whole process is open. Voyage plan: pretraining (80%) + midtraining (20%) on 18.75T tokens on 11 x GB200 NVL72 for ~3 months (2.7e24 FLOPs). Post-training will follow. Before kicking off the run, we trained a 4-rung scaling ladder from 1.6B-A61M (48B tokens) to 27.7B-A1.2B (926B tokens) to debug issues, and to make a forecast of our hero run. This is by far our biggest run, so definitely expecting the unexpected.

7月7日周二