Google DeepMind 发布《如何扩展你的模型》在线书

Google DeepMind 发布在线书《How to Scale Your Model》，讲解从单颗加速器到数万芯片规模下的模型扩展原理。全书共 12 章，涵盖 roofline 分析、TPU 与 GPU 架构、Transformer 参数量与 FLOPs 计算、数据/张量/流水线/专家四种并行方案，以及 LLaMA 3 在 TPU 上的训练与推理成本估算。