AI 模型能被切到多小？从整层拆分到专家级分片

文章探讨把大模型拆到子层粒度、在消费级设备上分布式运行的设计思路：MoE 模型可将单个专家甚至专家权重分片放到只有 500 MB 至 1 GB 空闲内存的设备上，MLA 等潜空间压缩技术则用于压缩 KV cache。文中对比了传统流水线并行与这种子层边缘集群方案，并提到 Petals、BloomBee 等项目，但明确说明该架构只是提案，尚未经实测部署。