跳到正文
Hacker News· michaelrickynea·· 16 小时前AI 评分48

Leviathan LLM Inference:在显卡上本地运行大模型的推理应用

Leviathan LLM Inference

AI 导读

Leviathan 是一款 Windows 本地推理应用,可将 .gguf 模型转换为 .lev 文件后直接加载进 NVIDIA 显卡显存运行,无需服务器、云账号、API key 或 Python 环境。

来源:Hacker News · github.com