跳到正文
Hacker News· nalaginrut·· 3 小时前AI 评分58

SonicBoom v0.0.4 发布:无 Python 的 C++/CUDA 张量运行时,部分模型解码快于 llama.cpp

SonicBoom v0.0.4 Release

AI 导读

SonicBoom v0.0.4 发布,这是一个用 C++ 和 CUDA 从零编写、通过 C ABI 暴露接口、以 GNU Guile 为一等语言的本地 LLM 推理运行时,推理路径上没有 Python 解释器。

来源:Hacker News · github.com