capy-flash v0.5.4 发布：双 16GB 显卡跑 125B MoE

ValerioDolci 发布 capy-flash v0.5.4 推理引擎，称可在两张 16 GB 消费级 GPU（2x RTX 5070 Ti）上以 NVFP4 运行 Qwen3.8-Flash-Next（125B MoE）：未重新量化的专家权重放在主机内存、由 CPU 计算。 运行条件为 Linux、CUDA 13.1、两张 sm_120（RTX 50 系列）16 GB 显卡、支持 AVX-512（F/BW/VL、VNNI）的 CPU 及约 70 GiB 空闲内存，且一次只处理一个请求（--max-concurrency 1），仅在该机器上测试过。作者称输出逐次运行并非比特级可复现：哪些专家留在显存（GPU 路径）取决于时序，长流式预填充的最后几位也有差异，质量是在此前提下测得的。项目采用 Apache License 2.0。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。