一个基座模型加微适配器：如何让开放 AI 跑在消费级硬件上

一种模块化架构提出用单个冻结的量化基座模型搭配数千个 2-5MB 的 LoRA 微专家，通过两级路由器按需加载，避免为闲置参数支付高昂显存成本。配合 Multi-Head Latent Attention 将上下文缓存压缩约 90%，5MB 适配器从内存流式加载仅需 1-2 毫秒。该设计面向本地自托管场景，让开发者无需多 GPU 集群即可运行能力可用的 AI。