模块化架构让开放 AI 跑在消费级硬件

一种模块化架构提出，用单个冻结的量化基座模型搭配数千个 2-5MB 的 LoRA 微专家，通过两级路由器按需加载，避免为闲置参数支付显存成本。该设计面向本地自托管场景，目标是让开发者无需多 GPU 集群即可运行能力可用的 AI。 该架构称，配合 Multi-Head Latent Attention 可将上下文缓存压缩约 90%，5MB 适配器从内存流式加载仅需 1-2 毫秒。这些数字来自提出者的说法，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。