Hacker News· silasyl·· 4 小时前AI 评分50
开放权重 LLM 架构解析：MoE、混合层与三值权重
The architecture of open-weight LLMs: MoE, hybrid layers, ternary weights
AI 导读
一项研究在 8 GB GPU 上实测 Llama 3.1 8B、Qwen3.6-35B-A3B、gpt-oss-20b、Gemma 4 E4B、Ternary Bonsai 2 等 12 款开放权重模型，对比 Dense、MoE、混合层与三值权重架构的取舍。
来源：Hacker News · silasdata.com