文本本不自然，而 LLM 正建立在其上

文本是对感知现实的有损符号压缩，而 LLM 几乎完全在这一压缩层上训练，学到的是二手描述而非真实体验。模型读取的是压缩算法切出的 subword token，因此连“strawberry 里有几个 r”都可能出错。视频与音频是更密集的 grounding 来源，多模态学习应作为基础，文本则作为其上的抽象与接口层。