Hacker News· lioeters·· 2 小时前精选AI 评分76
FreeToken：在自有硬件上运行数据中心级 MoE 模型的边缘服务系统
FreeToken: Datacenter-class intelligence on the hardware you own
AI 导读
FreeToken 是一个面向边缘设备的 MoE 服务系统，把个人机器当作统一的弹性推理平台，协同设计模型布局与加载、专家驻留、CPU-GPU 执行、智能体状态复用和运行时内存管理。
推荐理由
论文给出边缘设备运行 MoE 模型的完整服务栈设计，并列出从 8GB 笔记本到单卡工作站的模型规模跨度。
来源：Hacker News · arxiv.org