双 RTX 5090 主机经以太网共享 KV 缓存实测

velmu 发布实测：两台 RTX 5090 主机借助 viiwork 的 kv_share 机制，通过以太网共享会话 KV 缓存，使会话切换到另一台主机时无需重新 prefill。实测使用同一编码代理负载，对比 1GbE 交换机、承载 Tailscale 流量的直连 10GbE 线缆，以及同一线缆直接传输 kv_share 三种连接。 机制上，一轮对话达到默认 8192 token 后，运行该轮的主机让 Strata 将会话存为文件，只发给会话下一步可能溢出的那一台成员，而非全部成员；仅当提示仍匹配时才恢复，副本过期或缺失只会导致该轮冷启动，效果等同没有共享。 测量于 2026 年 10 月 26 日进行，使用 viiwork v2.11.0-beta1 与 Strata 0.2.6，早于 import-once 修复。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。