跳到正文
Hacker News· henriquegogo·· 40 分钟前AI 评分60

lowvram:在低显存 GPU 上运行大模型的 CLI 工具

Lowvram: A CLI tool to run large AI models in low VRAM GPUs

AI 导读

Henrique Soares 发布 lowvram,一个通过 LD_PRELOAD 拦截 cuMemAlloc 并替换为 cuMemAllocManaged 的 CLI 工具,让 CUDA 程序在显存不足时借用系统内存运行。

来源:Hacker News · soarhen.com