回到最新动态
交叉发布 / THE SIGNAL

DIVA:按决策价值决定是否查询信息的LLM方法

Not All Information Is Worth Asking For: Decision-Informed Information Seeking with LLMs

重要性 5.0 AI 辅助整理

DIVA让LLM按决策价值决定是否查询信息并及时停止。

资讯摘要

论文指出LLM在信息不完整时存在“信息陷阱”:会为无法改变决策或成本不值的检查付费,证据已足够时仍继续追问。作者提出免训练的DIVA方法,让LLM用简短数值问题构建小型决策模型,按每项检查的想象结果对决策的净收益估值,无检查值得成本时停止;DIVA-U进一步考虑LLM对检查影响强度估计的不确定性。作者报告在四个领域、20个LLM上,DIVA-U在真实数据上的后悔值低于所有LLM基线。

要点速读

  1. 论文提出DIVA:让LLM通过简短数值问题指定小型决策模型,并按证据的决策价值评估候选检查,无检查值得成本时停止。
  2. DIVA-U为DIVA变体,额外考虑LLM对每项检查影响概率强度的不确定估计;方法免训练,适用于任意LLM。
  3. 作者报告在四个领域、20个LLM上,DIVA-U在真实数据上的后悔值低于所有LLM基线,主要靠证据充分后及时停止;在每项检查可靠性已知的合成场景中,DIVA将最佳LLM基线的后悔值降低75%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开