用大语言模型做本地推理：引擎、硬件与选型实践

一家处理高度机密并购报告的公司因 NDA 限制无法把文件上传给 AI 服务商，转而采用本地推理，并梳理了所需的三要素：足够强的硬件、能装下的模型和推理引擎。文章重点评测了开源引擎 Llama.cpp，称其已有 3 年半历史、安装简单、稳定可靠，虽非最快但代码质量高，几乎在其所有硬件和大量模型上使用过。