Google开源XLA Serving Engine推理运行时

Google 以 Apache 2.0 许可开源 XLA Serving Engine（XSE），这是一个面向 OpenXLA 生态的通用模型导出与推理运行时，支持“Python 训练、C++ 服务”的工作流。 Google 称 XSE 是轻量级的一次性推理引擎，并建议长上下文的大型自回归语言模型改用 vLLM 或 SGLang 等具备 LLM 专用内存管理的项目。AOT 编译目前先向内部用户推出，之后才面向外部用户。

AI 根据报道生成 · 18 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。