SonicBoom v0.0.4 发布无 Python 推理运行时

HardenedVault 发布 SonicBoom v0.0.4，这是一个用 C++ 和 CUDA 从零编写、通过 C ABI 暴露接口、以 GNU Guile 为一等语言的本地 LLM 推理运行时，推理路径上没有 Python 解释器。报道称部分模型解码快于 llama.cpp。 v0.0.4 仅针对 sm_86（RTX 30 系列）构建和测试；运行环境为 Linux x86-64、g++-13、CMake，可选 Ninja，需 libyaml-dev，CUDA 12.0 以上，GPU 计算能力 6.1 以上（__dp4a），张量核心 MMQ 路径需 7.5 以上。项目采用 GPL-3.0-or-later 许可。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。