工具含噪时，SOTA 模型很少向用户暴露预测不确定性。
资讯摘要
论文提出 PredActBench，用于评估对话智能体在预测工具存在误差时的表现，以教育场景为测试平台。作者将 Relative AI-Reliance 与 Relative Self-Reliance 两项信任校准指标扩展到多轮对话，并在 OULAD 及包含 60 门课程的 PredAct-CS 数据集上评测 13 个 LLM，另开展 13 名教师与助教参与的人类研究。作者报告，工具含噪时最强基线 GPT-5.5 的 F1 为 57.2，模型很少向用户暴露预测不确定性，导致用户过度依赖错误预测。
要点速读
- 论文提出 PredActBench 基准，评估对话智能体在含噪预测工具下的表现，测试场景为教育。
- 作者将 Relative AI-Reliance 和 Relative Self-Reliance 两项信任校准指标扩展到多轮对话。
- 在 OULAD 与 PredAct-CS（60 门课程）上评测 13 个 LLM，并开展 13 名教师与助教参与的人类研究；作者报告最强基线 GPT-5.5 的 F1 为 57.2。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。