斯坦福 CS 312 深度学习炼金术课程：用消融实验理解 Transformer 各组件作用

斯坦福 CS 312 课程以深度 8、预训练于 614M tokens 的 Transformer 为基线，要求学生对 prenorm、注意力、MLP、残差和位置嵌入逐项做留一消融，并按最终验证损失排序各变体。进阶题则让模型把残差改为前一层与前两层各取 0.5 的混合方案，在六组学习率下比较损失差异。