Hacker News· sardor_r1·· 2 小时前AI 评分38
Show HN：Vramkit 在 MacBook 上实现 LLM 推理的无损 VRAM 压缩
Show HN: Vramkit – lossless VRAM compression for LLM inference, on a MacBook
AI 导读
Vramkit 提供两种经无损验证的显存压缩技术，分别压缩 LLM 推理中的模型权重和 KV-cache。
来源：Hacker News · github.com