一个极简语言模型 TinyLM 的实验：不用 Transformer、没有注意力机制

作者用 92 个词、2560 句构成的封闭世界训练出 TinyLM，默认模型仅 552 个参数、嵌入维度为 3，不含 Transformer 架构与注意力机制，甚至没有隐藏层，可在单个 CPU 核心上几秒内完成训练。模型采用无序词袋输入，因此准确率上限约 48.4%，参数量可在几百到几千之间调整。作者称其纯属学术演示，本身没有实用价值。