用 JEPA 与正视图选择对齐图像与语言表征的 Representation Hypothesis 研究

一项基于 JEPA 的研究提出，正视图选择是图像编码器与语言编码器表征对齐的关键：用同一场景的不同描述训练，比用同一描述的损坏版本更能学到场景相关表征。一个 1.09 亿参数文本模型与图像编码器的对齐度超过 Qwen2.5-72B（.184 对 .154），且达到相近对齐度所需训练样本减少 42 倍。在图像描述生成演示中，该系统在 COCO 上取得 .838 的 CIDEr 得分。