Hacker News· peter_d_sherman·· 13 小时前AI 评分38
VindexLLM：用 Delphi 12 编写的 Windows Vulkan GPU GGUF 推理引擎
VindexLLM – Windows Vulkan GPU GGUF LLM inference engine written in Delphi 12
AI 导读
VindexLLM 是一个完全用 Delphi 12 编写、基于 Vulkan compute shader 的 Windows LLM 推理引擎，可直接加载标准 GGUF 模型并在 GPU 上完成完整 transformer 前向推理，唯一依赖是系统自带的 vulkan-1.dll。
来源：Hacker News · github.com