Hacker News· matt_d·· 4 小时前AI 评分38
SpecPilot：为 SpecDec 自动发现算法与系统优化的智能体框架
SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for SpecDec
AI 导读
SpecPilot 是一个自主智能体循环，可为每个部署自动发现算法与系统优化，将投机解码相对自回归解码的加速比从 stock 的 4.46× 提升至 10.87×（单请求），批处理场景从 1.94× 提升至 3.93×。
来源：Hacker News · arxiv.org