对话问答的置信信号与答案修复主要取决于用户是否给出答案字符串。
资讯摘要
论文将用户追问拆分为言语行为(重问、同意、质疑)与载荷(答案字符串),并在同一批对话记录上测量四种置信信号。作者报告:答案改变几乎只由用户提供答案字符串驱动,正确载荷修复错误答案的比例至少是重问或同意的四倍;四种信号彼此不一致,Qwen2.5-7B 上冻结探针随答案持续性上升而非真实性。81 个经一次重问仍存活的错误中,重问、新会话或弃答几乎无法修复,提供标准答案可修复 75–95%。
要点速读
- 作者将追问拆为言语行为与答案载荷,发现答案变化几乎只由载荷驱动,正确载荷修复错误的比例至少是重问或同意的四倍。
- 四种置信信号(言语化置信、长度归一化似然、冻结隐状态探针、P(True))在同一批记录上互相不一致;Qwen2.5-7B 上冻结探针随答案持续性而非真实性上升。
- 81 个经一次重问仍存活的 Qwen2.5-7B 错误中,重问、新会话或弃答几乎不修复,标准答案修复 75–95%;不含答案字符串的修复率在预注册复现中均低于 0.15。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。