vramkit发布：LLM推理VRAM无损压缩工具
热点事件持续更新
vramkit发布：LLM推理VRAM无损压缩工具
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 sardor_r1 在 Hacker News 发布开源工具 vramkit，称其提供两种经无损验证的显存压缩技术，分别压缩 LLM 推理中的模型权重和 KV-cache，代码以 MIT 许可发布。 该工具在 MacBook 上构建，GPU 验证尚未完成。作者列出的后续工作包括：通过 MLX 在真实小模型上以困惑度验证 KV 质量、继续降低 outlier-aware int4 的位宽，以及实现 Metal/ROCm 反量化内核，让压缩形式能在推理中实时使用。 因此，目前“无损”是作者自述的验证结果，GPU 上的实际效果和实时使用尚未落地。
AI 根据报道生成 · 1 小时前更新
最新进展10月17日 21:32
Show HN：Vramkit 在 MacBook 上实现 LLM 推理的无损 VRAM 压缩报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- Hacker NewsShow HN：Vramkit 在 MacBook 上实现 LLM 推理的无损 VRAM 压缩
Vramkit 提供两种经无损验证的显存压缩技术，分别压缩 LLM 推理中的模型权重和 KV-cache。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。