论文发现指令位置与角色显著影响LLM代理的冲突取舍。
资讯摘要
论文构建WhoWins基准,含1,080个代码评分场景和七组控制实验,研究14个开放权重模型(0.6B至122B)在188万余条回复中的指令冲突表现。作者报告:同一消息内两条冲突指令中首条胜出率72.42%至94.66%,跨消息时降至22.95%至62.65%;系统消息中先发的策略在Qwen各模型中多数落败,在gpt-oss中则多数胜出。
要点速读
- 论文提出WhoWins基准,含1,080个代码评分场景、五类任务,每场景最多五条互斥指令,并设七组仅改变指令传递方式的控制实验。
- 作者报告同一消息内首条冲突指令胜出率72.42%至94.66%,跨消息时降至22.95%至62.65%。
- 按作者关键词统计,已判定的成对回复中最多2.92%会标记或模糊处理冲突。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。