Hacker News· vforno·· 3 小时前AI 评分58
Lumabri 发布纯 C 实现的跨电脑私有推理服务
Show HN: Lumabri – Run large AI models across your computers and servers.Pure C
AI 导读
Lumabri 发布基于 Colibri 的私有推理服务，可把大模型按层拆分到多台电脑和服务器上运行，控制器、终端界面和推理集成用 C 编写。每台参与机器只需加载自己负责层的权重，并按显式内存预算保留模型，所有参与方批准后才开始加载和对话。
来源：Hacker News · github.com