仅用脑数据自监督训练的编码器可跨被试无监督对齐并迁移解码头。
资讯摘要
论文将联合嵌入预测架构（JEPA）适配到fMRI数据，仅用脑数据训练被试专属编码器，不接触刺激图像。在Natural Scenes Dataset上，该方法在脑字幕生成和图像重建任务上达到与使用图像和语言数据的监督流程相当的性能；不同被试独立训练的编码器可完全无监督对齐，对齐后一个被试的解码头无需微调即可用于另一被试，并保留大部分被试内性能。
要点速读
- 论文提出用JEPA在fMRI数据上做自监督学习，编码器训练时不接触刺激图像或图像衍生表征。
- 在NSD数据集上，脑字幕生成与图像重建性能与参数丰富的端到端监督流程相当。
- 不同被试独立训练的编码器可无监督对齐，对齐后解码头跨被试迁移无需微调。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。