跳到正文
Hacker News· machinestein·· 1 小时前精选AI 评分78

Generated Computers 开源 Locals:在 Mac 上本地并发运行多个 Agent,最高提速 3 倍

Run many agents 3x faster on your Mac

AI 导读

Generated Computers 发布开源本地推理服务 Locals,面向 Agent 而非聊天场景,在 Mac 上同时处理多个 Agent 请求,8 个并发请求下速度达 mlx-lm 的 3.1 倍(271 对 87 tokens/s)。

推荐理由

原文给出多智能体并发、工具调用格式约束和长对话缓存的具体测速数据,可据此判断本地跑 Agent 的可行边界。

来源:Hacker News · github.com