Hacker News· utsav1033·· 2 小时前AI 评分36
Show HN:3KB 的 C 语言 LLM 推理引擎,跑通 SmolLM2-135M
Show HN: A 3KB LLM inference engine in C
AI 导读
一个 3,156 字节的 C 程序在 Linux arm64 上直接读取原始 model.safetensors 和 tokenizer.json,运行 SmolLM2-135M 并逐 token 复现 Hugging Face transformers 的贪心解码结果。
来源:Hacker News · github.com