Hacker News· 0xjosephx10·· 3 小时前AI 评分22
把语言看作高维状态投影:理解 LLM 内部计算的影子艺术类比
Understanding LLMs by seeing language as a shadow of a higher-dimensional state
AI 导读
文章用"计算影子艺术"类比解释 LLM 内部机制:隐藏状态如同高维雕塑,词表概率只是它投到低维墙面的一道影子。以 DeepSeek-R1-Distill-Qwen-7B 为例,28 个 transformer 块顺序运行,每个 token 状态有 3,584 个坐标,MLP 先扩展到 18,944 再回到 3,584,词表读出产生 152,064 个分数。
来源:Hacker News · operator0x.com