迷你主机外接eGPU跑本地LLM实践

作者 me2too 在 Hacker News 分享用 Beelink GTR7 迷你主机（Ryzen 7 7840HS、64 GB DDR5）外接二手 RTX 3090（24 GB）搭建本地 LLM 推理环境，并给出 llama.cpp 配置经验。 外接方案没有采用约 1000 美元的雷电扩展坞，而是用约 128 美元的 ADT-Link UT4G USB4 转 PCIe x16 转接板，经 USB4 线提供 PCIe 4.0 x4 链路。作者强调线材需高质量且短，运行中不要触碰。 配置上，作者使用 8 位 KV 缓存；对可选的加速项，作者称命中时是免费提速、不命中则无效果，因此会在重启后核对实际 tokens/s，无收益就移除。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。