模型实时判断插话时机时准确率从57.8%降至19.0%
资讯摘要
论文提出 PITCH，据称是首个基于大规模人类判断的主动式智能体插话时机基准，数据来自同一场无脚本多人群聊的参与者。PITCH 含 384 条候选贡献与 1,091 条判断，来自 89 名参与者、35 场对话。作者报告，在 15 个模型、28 种配置中，模型拿到完整对话历史时选最佳轮次准确率为 57.8%，实时决策时降至 19.0%，且近半数插话早于所有参与者的可接受窗口；人类实时决策准确率为 23.7%。
要点速读
- PITCH 收集同一场多人群聊参与者对候选 AI 消息插话时机的判断，共 384 条候选贡献、1,091 条判断，来自 89 名参与者、35 场对话。
- 作者报告，15 个模型在 28 种配置下，完整历史下最佳轮次准确率为 57.8%，实时决策降至 19.0%，近半数插话早于所有参与者的可接受窗口。
- 人类实时决策准确率为 23.7%，过早插话比例为 39.7%；模型推理轨迹中 93% 的插话理由提及相关性，几乎不考虑等待。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。