在树莓派 3B+ 上跑本地 LLM 推理：一次基准测试

有人在树莓派 3B+ 上实测了 9 个 135M 到 800M 参数的小模型本地推理，结论是不值得日常使用但很好玩。最快的 smollm2-135m-instruct 预填充 17.75 t/s、生成 12.14 t/s，qwen3.5-0.8b 仅 3.98 t/s 和 2.02 t/s。