Qwen-tin 让 125B 模型在 8GB 显存笔记本运行

Qwen-tin 项目发布推理方案，让 Qwen3.8-Flash-Next（125B MoE、每 token 激活 6B）在 8GB 显存、32GB 内存的笔记本上以约 20 tok/s 生成、支持 150k 上下文。 该方案仅支持 Linux 与 NVIDIA 显卡，一次只处理一个请求（--parallel 1），目前只在一台机器上测试过；作者称其他 GPU 应该可用但尚未尝试。所用模型为 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化版，其作者称该量化版“在每个任务上匹配或超过基础模型”。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。