本地大模型推理的引擎、硬件与成本经验

一家处理高度机密并购报告的公司因 NDA 限制无法把文件上传给 AI 服务商，转而采用本地推理。分享者 jacquesm 称，本地推理需要三样东西：足够强的硬件、能装进硬件的模型，以及推理引擎；其评测只考虑开源且实际用过（做过基准测试并投入生产）的引擎，并重点推荐 Llama.cpp，称其安装简单、稳定可靠，虽非最快但代码质量高。 硬件门槛上，jacquesm 称 32G 内存加 16G 显存的 GPU 大概是可用的下限，配置更高则速度更快或能跑更强的模型；一台不错的游戏 PC 配同等显卡，买新机或翻新机总价可远低于 1 万美元。 成本方面，jacquesm 称按规模不同，应为每位使用该系统的员工准备 5000 至 1 万美元，规模扩大后会出现规模效应。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。