回到最新动态
论文更新 / THE SIGNAL

论文:潜在推理探针难读出复制数字

Present but Hard to Read: Probing Latent Reasoning with Minimal Pairs

重要性 5.0 AI 辅助整理

论文发现潜在推理探针难读出输入复制值,且可读未必被使用。

资讯摘要

论文在循环模型 Ouro-1.4B 与标准 Transformer Qwen 2.5-1.5B 上,用仅差一个数字的最小提示对检验潜在推理探针。作者报告该数字在最后一个提示 token 处存在且跨问题共享编码,读出约 0.9;但常规单提示探针几乎读不出,Ouro 为 0.36、Qwen 为 0.19。作者提出含合成零假设的协议,用于区分计算值与输入复制、混合。

要点速读

  1. 作者用最小提示对比较,发现被复制数字在最后提示 token 处可读出约 0.9,但单提示探针仅 0.36(Ouro)和 0.19(Qwen)。
  2. 作者指出随机词替换比数字变化对状态影响更大且更易读出,因此成功探针也存在歧义。
  3. 在两步问题预注册研究中,作者报告 Ouro 写出答案末位前存在未写出的中间值 a+b 的微弱信号,但将其保持到另一问题并不改变输出数字。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开