3KB C语言LLM推理引擎跑通SmolLM2-135M

开发者 utsav1033 在 Hacker News 发布一个 3,156 字节的 C 语言 LLM 推理引擎，在 Linux arm64 上直接读取原始 model.safetensors 和 tokenizer.json，运行 SmolLM2-135M，并逐 token 复现 Hugging Face transformers 的贪心解码结果。 使用条件：需要 arm64 Linux，程序必须在模型文件夹内运行，提示词加输出不超过 1024 个 token。作者称它也应能在 64 位树莓派 4/5 或 AWS Graviton 上运行，但自己尚未测试。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。