交互即评判：用计算机使用代理评估交互应用

让代理直接操作应用来评判，可提升交互应用的评估与生成质量。

资讯摘要

论文提出 Interaction-as-a-Judge 评估范式，让计算机使用代理直接与应用交互，而非仅分析代码或运行单元测试。作者发布两个数据集：6,858 对带人类偏好与代理轨迹的应用，以及 222 个经人工核验需求标签的应用。作者报告该范式在预测人类偏好（65.6%→69.1%）和需求核验（77.0%→81.6%）上优于非交互方法，并可用于推理时修复与训练时奖励信号。

要点速读

1. 论文提出 Interaction-as-a-Judge，由计算机使用代理直接与应用交互进行评估。
2. 作者发布 6,858 对带人类偏好和代理轨迹的应用，以及 222 个带人工核验需求标签的应用。
3. 作者报告偏好预测从 65.6% 升至 69.1%，需求核验从 77.0% 升至 81.6%；推理时五次尝试内修复 75.5% 的破损需求，代码自反馈为 55.4%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。