Hacker News· giarec·· 3 小时前AI 评分58
Spinf 开源 spinf-serve：单卡批量分类与决策推理服务器
Show HN: Spinf-serve – inference server for bulk scoring and decisions
AI 导读
Spinf 开源 spinf-serve，一个在单张 24 GB NVIDIA GPU 上做批量分类与决策推理的服务器，采用 Apache 2.0 许可，提供 OpenAI 兼容 API。
来源：Hacker News · github.com