回到最新动态
研究论文 / THE SIGNAL

Thinking-in-Bets:测试时记录主张可减少LLM代理的谄媚性修改

Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents

重要性 5.5 AI 辅助整理

读反馈前先记录主张,可减少代理被质疑后的错误改口。

资讯摘要

论文提出Thinking-in-Bets,一种免训练方法:代理在读取用户反馈前,先私下记录主要主张、支撑检查与置信度,受质疑时据此保留已验证工作、只复查不确定部分。作者在五个Gemini模型和八个基准上评估,报告称在补丁审查中几乎消除错误反转,多轮编码中减少误投诉后的不必要文件修改;仅在不确定时记录可降低token开销。

要点速读

  1. 方法要求代理在读取反馈前写下主张清单,受质疑时据此区分已验证与不确定内容。
  2. 评估覆盖Gemini 3.5 Flash-Lite至4.0 Argon五个模型,以及SWE-Together、Terminal-Bench等八个基准。
  3. 作者报告:批评后再记录收益很小;非交互任务中列出主张并复查最弱项可提升准确率与置信度估计。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:15(北京时间)。

阅读 Daily Papers 原文arxiv.org · 在新窗口打开