Hacker News· nikghodki·· 3 小时前AI 评分40
DGX Model Manager:在 DGX Spark 上自托管部署本地 LLM 的 Web 应用
DGX Model Manager
AI 导读
DGX Model Manager(DGXMM)是面向 NVIDIA DGX Spark(GB10,128 GB 统一内存)等单 GPU Linux 机器的自托管 Web 应用,可将磁盘上的模型以 vLLM 或 llama.cpp 容器部署,并通过一个 OpenAI 兼容的 LiteLLM 端点统一提供服务。
来源:Hacker News · github.com