GPT 架构图解（2022）

Daniel Dugas 用图解方式拆解 GPT-3 架构：输入是固定 2048 个 token 的序列，输出是每个位置的下一个词概率，词表规模 50257，嵌入维度 12288。文中说明 GPT-3 实际使用 byte-level BPE 分词，并用 12288 个不同频率的正弦函数编码位置信息。