Spinf 开源单卡批量推理服务器 spinf-serve

Spinf 开源了 spinf-serve，一个在单张 24 GB NVIDIA GPU 上做批量分类与决策推理的服务器，采用 Apache 2.0 许可。它读取一段内容一次，就能在同一遍处理中回答关于该内容的多个问题，并提供与 Spinf 托管服务相同的 OpenAI 兼容 API。 运行环境要求 Linux、支持 CUDA 13 的驱动和 Python 3.12；GPU 需具备 fp8 张量核心（Ada、Hopper 或 Blackwell 架构，如 RTX 4090/5090、L4、L40S、RTX 6000 Ada、H100）。Ampere 显卡则改用 int8 权重运行。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。