NVIDIA 开源 Flare 本地推理服务器

NVIDIA 开源了 Flare 本地推理服务器，面向 SM120/SM121 GPU，目标场景是长对话、编码智能体和反复工具调用。 Flare 用 PyTorch、Transformers 和 FlashInfer/b12x 完成模型加载与 CUDA 图捕获，再由 Rust 运行时 Helios 在不依赖 Python 的情况下提供服务。 报道称，可运行的模型取决于受支持的配方和已准备的容量；Flare 更适合硬件与模型覆盖范围匹配的机器，属于专用选项。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。