Lithos-metal 开源 Apple 芯片推理引擎

Lithos AI 开源了 lithos-metal，这是一款面向 Apple silicon 的推理引擎，会为 Apple 芯片生成 Metal megakernel，用于本地低延迟 LLM 推理和编码智能体接入。 据其说明，运行需要 Apple silicon Mac、macOS 26+、已注册的芯片后端，以及足以容纳目标模型、草稿模型和上下文的统一内存。Qwen3.8-27B 与 Qwen3.6-35B-A3B 两种配置已在 40 核 M5 Max、48 GB 统一内存上实测，其中 27B 配置达到 168 tokens/s；35B 混合 MoE 集成仍属实验性。未实测的后端不会自动进行 megakernel 融合，张量加速器保持关闭。

AI 根据报道生成 · 32 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。