DIVA让LLM按决策价值决定是否查询信息并及时停止。
资讯摘要
论文指出LLM在信息不完整时存在“信息陷阱”:会为无法改变决策或成本不值的检查付费,证据已足够时仍继续追问。作者提出免训练的DIVA方法,让LLM用简短数值问题构建小型决策模型,按每项检查的想象结果对决策的净收益估值,无检查值得成本时停止;DIVA-U进一步考虑LLM对检查影响强度估计的不确定性。作者报告在四个领域、20个LLM上,DIVA-U在真实数据上的后悔值低于所有LLM基线。
要点速读
- 论文提出DIVA:让LLM通过简短数值问题指定小型决策模型,并按证据的决策价值评估候选检查,无检查值得成本时停止。
- DIVA-U为DIVA变体,额外考虑LLM对每项检查影响概率强度的不确定估计;方法免训练,适用于任意LLM。
- 作者报告在四个领域、20个LLM上,DIVA-U在真实数据上的后悔值低于所有LLM基线,主要靠证据充分后及时停止;在每项检查可靠性已知的合成场景中,DIVA将最佳LLM基线的后悔值降低75%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。