Hacker News· kgritesh·· 3 小时前AI 评分50
在 4 块 GPU 上微调 235B 模型:Qwen3-235B-A22B 的尝试与放弃
We fine-tuned a 235B model on 4 GPUs. Then we didn't need it
AI 导读
团队在 4 块 H100 上对 Qwen3-235B-A22B-Thinking 做 QLoRA 微调,约 3600 条样本训练一个 epoch 后,9 个租户的 F1 平均提升 7.63 分,单 token 成本约为 API 模型的三分之一,训练耗时 26 小时。
来源:Hacker News · blog.vertexcover.io