研究称正视图选择可提升跨模态对齐效率

一项基于 JEPA 的研究提出，正视图选择是图像编码器与语言编码器表征对齐的关键：用同一场景的不同描述训练，比用同一描述的损坏版本更能学到场景相关表征。 研究称，一个 1.09 亿参数文本模型与图像编码器的对齐度超过 Qwen2.5-72B（.184 对 .154），达到相近对齐度所需训练样本减少 42 倍。该数字指样本量，并非实测的耗时或计算量节省，且两种方案的学习率和批量大小不同。 在图像描述生成演示中，该系统在 COCO 上取得 .838 的 CIDEr 得分。相关定理是在理想化假设下得到的总体结果，实验所用 LeJEPA 并未严格满足这些假设，超参数也仅针对良好视图 JEPA 调优。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。