先问视角会改变模型后续选择,评测需设无提问基线。
资讯摘要
论文在渲染版 Director Task 中发现,先询问模型“导演能看到哪些积木”会改变其后续行动选择:在六个 GPT 模型上,选择被遮挡积木的比例上升 12 至 88 个百分点,Qwen3.8-27B 上升 17 个百分点,尽管模型大多能正确报告导演所见。作者认为该提问会把请求的理解从导演视角转向模型自身视角,并建议此类评测加入不含该问题的配对基线。
要点速读
- 论文在 Director Task 中先询问导演可见积木,六个 GPT 模型选择被遮挡积木的比例上升 12 至 88 个百分点,Qwen3.8-27B 上升 17 个百分点。
- 模型多数能正确报告导演看到哪些积木,但仍会选错,说明报告与行动可能不一致。
- 作者提出仅在该提问上有差异的配对提示作为基线,供视角采择类基准采用。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。