跳到正文
Hacker News· wslh·· 3 小时前AI 评分22

MCF:面向长上下文 LLM 推理,移动查询而非 KV cache

MCF: Move queries, not KV caches

AI 导读

MCF 是一个面向长上下文 LLM 推理的内存与通信感知框架,核心机制 MARS 在 chunked prefill 阶段选择性复制高复用 KV 块,并随内存压力增大逐步收敛为分片式 decode-ready 布局。

来源:Hacker News · arxiv.org