Hacker News· stefanoski·· 2 小时前AI 评分50
Tara Vision 推出兼容 OpenAI 的本地私有推理引擎 taraengine，支持 NVIDIA Linux 与 Apple Silicon
Private and OpenAI-Comp. Inference Engine for Nvidia Linux and Apple Silicon
AI 导读
Tara Vision 发布开源推理引擎 taraengine，基于 llama.cpp 构建，可在 NVIDIA Linux 机器和 Apple Silicon Mac 上本地运行 Gemma、GLM 和 Qwen 模型，并提供 OpenAI 兼容的 /v1 接口。
来源：Hacker News · github.com