回到最新动态
论文更新 / THE SIGNAL

多轮报告修订:深度研究智能体可靠性不足

Beyond Single-shot Writing: Deep Research Agents are Unreliable at Multi-turn Report Revision

重要性 5.5 AI 辅助整理

论文提出 Mr Dre 评测多轮报告修订,发现 DRA 会回退已覆盖内容。

资讯摘要

论文指出,现有深度研究智能体(DRA)评测把报告生成当作单次写作任务,与人类迭代修改报告的方式不符。作者提出 Mr Dre 评测套件,包含覆盖全面性、事实性与呈现的统一长文评测协议,以及经人工核验的多轮反馈模拟流程。对五个 DRA 的分析显示,智能体虽能处理多数用户反馈,却会使 16%–28% 此前已覆盖的内容与引用质量出现回退;多轮修订后,表现最好的智能体仍有明显提升空间,且难以通过提示工程或专用修订子智能体等推理期手段解决。

要点速读

  1. 论文提出 Mr Dre,将多轮报告修订设为 DRA 的新评测维度,含统一长文评测协议与人工核验的反馈模拟流程。
  2. 对五个 DRA 的分析显示,智能体可处理多数反馈,但会使 16%–28% 已覆盖内容与引用质量回退。
  3. 多轮修订中智能体持续改动反馈范围外内容、无法保留早前修改,提示工程与专用修订子智能体等推理期手段难以解决。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开