斯坦福 CS 312 课程用消融实验拆解 Transformer
热点事件观察中
斯坦福 CS 312 课程用消融实验拆解 Transformer
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
斯坦福 CS 312 课程设置了一项 Transformer 消融实验：以深度 8、预训练于 614M tokens 的模型为基线，要求学生分别对 prenorm、注意力、MLP、残差和位置嵌入做留一消融，并按最终验证损失对各变体排序，以观察各组件的作用。 进阶题要求把残差改为前一层与前两层各取 0.5 的混合方案，并在六组学习率下比较损失差异。
AI 根据报道生成 · 1 天前更新
最新进展10月29日 10:42
斯坦福 CS 312 深度学习炼金术课程：用消融实验理解 Transformer 各组件作用报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- Hacker News斯坦福 CS 312 深度学习炼金术课程：用消融实验理解 Transformer 各组件作用
斯坦福 CS 312 课程以深度 8、预训练于 614M tokens 的 Transformer 为基线，要求学生对 prenorm、注意力、MLP、残差和位置嵌入逐项做留一消融，并按最终验证损失排序各变体。进阶题则让模型把残差改为前一层与前两层各取 0.5 的混合方案，在六组学习率下比较损失差异。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月29日 11:00
- 近 24 小时变化
- -50%
02.557.510
12:0018:0010月30日06:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。