Hacker News· HelldezNoBan·· 1 小时前精选AI 评分78
BigMoeOnEdge 发布：在 llama.cpp 上为手机和笔记本流式运行大 MoE 模型
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
AI 导读
BigMoeOnEdge 发布，在 llama.cpp 公共 API 之上实现 MoE 专家流式加载，让超出内存数倍的模型在端侧运行，输出与全量驻留内存一致。
推荐理由
作者给出了多款 MoE 模型在手机和笔记本上的实测解码速度，读者可据此判断端侧跑大模型的现实边界。
来源：Hacker News · github.com