lowvram：低显存GPU运行大模型的CLI工具

Henrique Soares 发布 CLI 工具 lowvram，通过 LD_PRELOAD 拦截 CUDA 的 cuMemAlloc 并替换为 cuMemAllocManaged，让 CUDA 程序在显存不足时借用系统内存继续运行。 该工具仅适用于 Linux，且需要使用者对 CUDA 运行时环境有较深理解。当模型工作集超过物理显存容量后，数据需经 PCIe 总线在显存与系统内存之间来回搬运。 由于使用托管内存，若模型持续申请内存，工具可能耗尽系统内存——已用托管内存不会让系统报告的“空闲”内存相应减少。

AI 根据报道生成 · 18 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。