共享世界的关系结构可促进跨语言实体对齐与迁移。
资讯摘要
论文提出“关系可识别性假说”,认为共享世界中的关系结构能排除跨语言实体间的其他对应可能,从而促进实体对齐。作者在双语 Transformer 上做受控实验:两种词表不相交的语言描述同一模算术世界,模型可在未对齐数字的情况下形成共享答案子空间;当可用关系约束数字对应时(如减法使零在任务层面可识别),跨语言对齐选择性出现,而顺序敏感操作则带来更广泛的数字对齐,这些模式可预测零样本跨语言迁移表现。
要点速读
- 论文提出 Relational Identifiability Hypothesis,解释多语言模型在无共享词表下仍能跨语言泛化。
- 受控双语 Transformer 实验中,两种语言可形成共享答案子空间而不对齐对应数字。
- 减法使零在任务层面可识别并引发选择性对齐,顺序敏感操作产生更广泛对齐,且这些模式可预测零样本跨语言迁移。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。