4块H100微调235B MoE模型的尝试
热点事件持续更新
4块H100微调235B MoE模型的尝试
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 kgritesh 分享了在 4 块 H100（每块 80GB，共 320GB 显存，另配 960GB 系统内存）上对 Qwen3-235B-A22B-Thinking 做 QLoRA 微调的实践。他称，用约 3600 条样本训练一个 epoch 耗时 26 小时，9 个被测租户的 F1 平均提升 7.63 分，单 token 成本约为 API 模型的三分之一。 但这一结果并未投入生产。kgritesh 称，团队先后尝试了五种训练配置，其中四种在第一步训练开始前就失败；他认为失败原因对任何试图在单机上微调此规模模型的人都适用。
AI 根据报道生成 · 2 小时前更新
最新进展10月19日 20:35
在 4 块 GPU 上微调 235B 模型：Qwen3-235B-A22B 的尝试与放弃报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- Hacker News在 4 块 GPU 上微调 235B 模型：Qwen3-235B-A22B 的尝试与放弃
团队在 4 块 H100 上对 Qwen3-235B-A22B-Thinking 做 QLoRA 微调，约 3600 条样本训练一个 epoch 后，9 个租户的 F1 平均提升 7.63 分，单 token 成本约为 API 模型的三分之一，训练耗时 26 小时。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。