回到最新动态
研究论文 / THE SIGNAL

共享关系表征如何影响语言模型的具体选择

Shared relations, specific choices: conditional sensitivity and competing pathways in language models

重要性 5.5 AI 辅助整理

共享关系表征可迁移,但其功能符号未必可迁移。

资讯摘要

论文以GPT-2 Small、Qwen2.5-1.5B和Llama-3.2-1B为对象开展受控实体绑定实验,发现存在一个低维关系背景,它在不同查询角色间共享并可迁移到新名称。移除该成分后,恢复独立训练的关系方向能使输出对比更接近原值,但可迁移的关系表征未必具有可迁移的功能符号;在Qwen2.5中,同一关系向量在二值与词汇映射提示下产生相反选择效应。

要点速读

  1. 实验覆盖GPT-2 Small、Qwen2.5-1.5B和Llama-3.2-1B,发现跨查询角色共享的低维关系背景可迁移到新名称。
  2. 移除共享成分后,恢复独立训练的关系方向比符号反转或等范数随机对照更能还原输出对比。
  3. Qwen2.5中固定权重与编辑剂量时,训练均值关系向量在二值与词汇映射提示下产生相反选择效应;八条件协议下平均局部增益在Qwen2.5为正、Llama3.2为负。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开