Hacker News· westurner·· 5 小时前AI 评分58
Meshy.AI 开源 Overmind:用零拷贝共享内存把 PyTorch 模型加载从 15 秒降到 0.2 秒
Overmind: Cut PyTorch model load time 15s to 0.2s with a zero-copy shared cache
AI 导读
Meshy.AI 开源 Overmind 缓存库,通过把序列化模型存入共享内存,让 PyTorch 模型首次加载后从任意进程再次加载只需毫秒级。该库以 overmind-cache 之名发布在 PyPI,只需一行 monkey_patch_all() 即可接入,兼容 diffusers、transformers、bitsandbytes 量化和原生 torch.load。
来源:Hacker News · github.com