AC-JEPA：锚定跨模态联合嵌入预测架构

AC-JEPA 在光学化学结构识别上优于单独 SFT，且对伪标签数据更稳健。

资讯摘要

论文提出 AC-JEPA，一种与 SFT 兼容的插件，利用配对数据在跨模态两个方向上预测被掩码的中间状态，以联合嵌入目标捕捉跨模态结构，同时保留因果 SFT 路径的 token 级监督。作者以光学化学结构识别为测试场景，报告在 WildMol 基准 Simple 集上，仅用干净配对数据训练时准确率为 76.07%，而单独 SFT 为 67.40%；使用相同伪标签数据自训练后，AC-JEPA 提升至 80.23%，直接 SFT 则从 67.40% 降至 63.47%。

要点速读

1. AC-JEPA 是与 SFT 兼容的插件，在跨模态双向预测被掩码的中间状态，联合嵌入目标与 token 级监督并行。
2. 在 WildMol 基准 Simple 集上，干净配对数据训练下 AC-JEPA 达 76.07%，SFT 为 67.40%。
3. 相同伪标签数据自训练下，AC-JEPA 升至 80.23%，直接 SFT 降至 63.47%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。