Hacker News· sgiannopoulos·· 2 小时前AI 评分58
EAGLE-4 投机解码 drafter 发布，支持 vLLM 与 SGLang
A new Speculative decoding drafter for vLLM and SGLang called EAGLE-4
AI 导读
EAGLE-4 团队发布 eagle-harness，可在 SGLang、vLLM 和 TokenSpeed 中运行 EAGLE-4 投机解码 draft。
来源：Hacker News · github.com