Hacker News· velmu·· 2 小时前AI 评分40
两台 RTX 5090 主机通过以太网共享 KV cache 实测
Two RTX 5090 hosts sharing a KV cache over Ethernet
AI 导读
两台 RTX 5090 主机在 viiwork 的 kv_share 机制下通过以太网共享会话 KV cache，让会话切换主机时无需重新 prefill。
来源：Hacker News · viiwork.pulu.app
两台 RTX 5090 主机通过以太网共享 KV cache 实测