NVIDIA 开源 Flare 本地推理服务器，面向 SM120/SM121 GPU

NVIDIA 发布 Flare，一个面向 NVIDIA SM120/SM121 GPU 的本地推理服务器，目标场景是长对话、编码智能体和反复工具调用。它用 PyTorch、Transformers 和 FlashInfer/b12x 完成模型加载与 CUDA 图捕获，再由 Rust 运行时 Helios 在不依赖 Python 的情况下提供服务。