16GB GPU 微调 Qwen3-1.7B 去除字母 e
热点事件持续更新
16GB GPU 微调 Qwen3-1.7B 去除字母 e
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
开发者 k33wu 在自有 16GB GPU 上微调 Qwen3-1.7B,目标是让模型回答日常提示时不使用字母 e。由于模型按 token 而非字母处理文本,直接指令无效,200 条评测回答全部含 e;加入屏蔽 e 的 mask 后,可用率也仅 26%。 作者随后用 SFT 和 RL 训练,以 GPT-6 Luna 对答案的连贯性与切题度打分(1-5 分,均需至少 4 分)作为奖励。回答被限制在 300 token(约 200 词)以内;模型仍需开启 mask 才能保持不含 e,模型卡中附带了开启 mask 运行的代码。
AI 根据报道生成 · 51 分钟前更新
最新进展10月26日 02:00
在 16GB GPU 上微调 Qwen3-1.7B,让模型回答不含字母 e报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- Hacker News在 16GB GPU 上微调 Qwen3-1.7B,让模型回答不含字母 e
开发者在自有的 16GB GPU 上微调 Qwen3-1.7B,使其回答日常提示时不使用字母 e。由于模型按 token 而非字母处理文本,直接指令无效,200 条评测回答全部含 e;加入屏蔽 e 的 mask 后可用率仅 26%。作者随后用 SFT 和 RL 训练,以 GPT-6 Luna 对答案的连贯性与切题度打分(1-5 分,均需至少 4 分)作为奖励。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。