回到最新动态
研究论文 / THE SIGNAL

思维链监督需分别验证忠实性与可监控性

Chain-of-Thought Oversight Requires Separate Evidence for Faithfulness and Monitorability

重要性 5.5 AI 辅助整理

论文提出证据链报告标准,要求分别验证忠实性与可监控性。

资讯摘要

论文指出,思维链监督常假设可见推理轨迹使模型行为更易监控,但这混淆了内部计算、推理痕迹、输出与监控判断之间的不同属性。作者区分推理可见性、机制忠实性、机制可定位性与行为可监控性,并在三个开放权重推理模型上做两项案例研究:安全漏洞推理中探针与激活消融显示内部表征和因果影响,但监控器在留出测试中未超过多数类基线;权威提示事实推理中监控器能区分答案是否改变,但七项机制分析未分离出紧凑因果机制。论文据此提出证据链报告标准。

要点速读

  1. 论文区分推理可见性、机制忠实性、机制可定位性和行为可监控性四种属性。
  2. 安全漏洞推理案例中,探针与激活消融提供内部表征和因果影响证据,但监控器在留出测试中未超过多数类基线。
  3. 权威提示事实推理案例中,监控器能区分答案是否改变,但七项机制分析未分离出紧凑因果机制。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开