Hacker News· oceansky·· 3 小时前AI 评分71
InferSSD 开源：从 SSD 流式加载 MoE 专家，运行超出内存和显存的模型
Inferssd – Run models larger than RAM or VRAM by streaming MoE experts from SSD
AI 导读
InferSSD 基于 llama.cpp 构建，用标准 GGUF 文件从 SSD 流式加载 MoE 专家，让模型规模超过 RAM 或 VRAM 也能运行，并提供浏览器聊天界面和 OpenAI 兼容 API。
来源：Hacker News · github.com