论文称智能体策略会内化执行框架偏好,换接口可致成功率骤降。
资讯摘要
一篇论文研究语言模型智能体与其执行框架(harness,即提示、工具与控制逻辑)的关系。作者在 KL 正则化控制下提出,最优策略的对数几率反映框架对各动作的偏好,部署回报等于框架上限减去策略失配。在 MiniWoB++ 上,仅颠倒观测字段顺序,训练后模型成功率从 85.0% 降至 19.2%;在 Terminal-Bench Lite 上,用更强模型估计的上限减失配可复现准确率排序。
要点速读
- 论文提出,在 KL 正则化控制下,最优策略的对数几率可恢复框架对各动作的偏好强度,训练只改变失配项,换框架则同时改变上限与失配。
- MiniWoB++ 实验中,颠倒观测字段顺序不改变任何最优决策,但训练后模型成功率由 85.0% 降至 19.2%。
- 作者报告,固定模型比较中看似更差但上限更高的新框架,在继续训练后优于原智能体,且事前测得的上限与失配可预测增益。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。