Hacker News· Anon84·· 4 小时前AI 评分48
用 JEPA 证明并改进柏拉图表示假说
Proving and Improving the Platonic Representation Hypothesis with JEPAs
AI 导读
研究者提出柏拉图表示定理:在任意多种模态上分别训练的 JEPA,只要正样本对是同一场景的两次观测(good views),学到的表示就只差一个旋转。next-token prediction 被视为使用 bad views 的 JEPA,这解释了语言模型为何只能靠规模与视觉对齐。
来源:Hacker News · arxiv.org