Hacker News· ekzhang·· 2 小时前AI 评分64
ekzhang 开源 Resin：面向 LLM 推理引擎的 Rust 调度器库
Show HN: Resin, fast native scheduler for LLM inference engines
AI 导读
ekzhang 在 Show HN 发布 Resin，一个面向 LLM 推理的构建模块库，核心是用 Rust 编写的无头 Engine，包含调度器、KV cache 和指标服务，前向计算由使用者按硬件编写模型专用 kernel。
来源：Hacker News · github.com