跳到正文
Hacker News· utsav1033·· 2 小时前AI 评分36

Show HN:3KB 的 C 语言 LLM 推理引擎,跑通 SmolLM2-135M

Show HN: A 3KB LLM inference engine in C

AI 导读

一个 3,156 字节的 C 程序在 Linux arm64 上直接读取原始 model.safetensors 和 tokenizer.json,运行 SmolLM2-135M 并逐 token 复现 Hugging Face transformers 的贪心解码结果。

来源:Hacker News · github.com