树莓派3B+实测小模型本地推理

keepitwiel 在树莓派 3B+ 上实测了 9 个 135M 到 800M 参数的小模型本地推理，结论是不值得日常使用但很好玩。测试在所选系统下最多只有 750MB 可用内存，最初用四线程跑基准时树莓派中途重启，随后降到两线程。 速度最快的是 smollm2-135m-instruct，预填充 17.75 t/s、生成 12.14 t/s；qwen3.5-0.8b 仅 3.98 t/s 和 2.02 t/s。keepitwiel 称这次基准并不完全成功，因为并非所有模型（通过 llama.cpp）都能计算困惑度。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。