Hacker News· surprisetalk·· 3 小时前AI 评分36
只用语言学规则做提示词压缩,无需 LM 前向计算即可降低推理成本
Every Time I Hire a Linguist, Inference Costs Go Down
AI 导读
一项 EMNLP 2026 论文提出仅靠语言学规则压缩提示词,部署时无需 LM 前向计算、只用 CPU 处理。研究通过离线进化搜索组合词汇、句法、语义和篇章规则,在短段落、多文档推理和对话记忆 QA 数据集上效果接近近期先进提示词压缩方法。性能在轻度至中度压缩下最佳,压缩越激进越差,且规则会随压缩比升高从 token 剪枝转向句子抽取。
来源:Hacker News · arxiv.org