Hacker News· henriquegogo·· 40 分钟前AI 评分60
lowvram:在低显存 GPU 上运行大模型的 CLI 工具
Lowvram: A CLI tool to run large AI models in low VRAM GPUs
AI 导读
Henrique Soares 发布 lowvram,一个通过 LD_PRELOAD 拦截 cuMemAlloc 并替换为 cuMemAllocManaged 的 CLI 工具,让 CUDA 程序在显存不足时借用系统内存运行。
来源:Hacker News · soarhen.com