Hacker News· machinestein·· 1 小时前精选AI 评分78
Generated Computers 开源 Locals:在 Mac 上本地并发运行多个 Agent,最高提速 3 倍
Run many agents 3x faster on your Mac
AI 导读
Generated Computers 发布开源本地推理服务 Locals,面向 Agent 而非聊天场景,在 Mac 上同时处理多个 Agent 请求,8 个并发请求下速度达 mlx-lm 的 3.1 倍(271 对 87 tokens/s)。
推荐理由
原文给出多智能体并发、工具调用格式约束和长对话缓存的具体测速数据,可据此判断本地跑 Agent 的可行边界。
来源:Hacker News · github.com