作者用552参数极简模型TinyLM做实验

作者 ilreb 记录了一个极简语言模型 TinyLM 的实验：它不用 Transformer 架构、没有注意力机制，甚至没有隐藏层。默认模型仅 552 个参数、嵌入维度为 3，在 92 个词、2560 句构成的封闭世界数据上训练，单个 CPU 核心几秒内即可完成。 模型采用无序词袋输入，因此准确率上限约 48.4%，参数量可在几百到几千之间调整。作者称这纯属学术演示，本身没有实用价值。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。