新基准同时考察任务完成与网站连续性，两者在实测中并不一致。
资讯摘要
论文提出 ProductWebBench 基准，用于评估前端编码代理在完成指定任务之外是否保持网站其余部分正常，即“网站连续性”。基准包含 320 个基于现有代码的 Change 任务和 80 个长程 Build 任务，每个任务冻结仓库快照、分阶段需求、浏览器证据与确定性检查。作者报告在 13 个模型共 8,737 次运行中，通过全部指定工作检查的 Change 运行里仍有 28.2% 未通过连续性检查。
要点速读
- 基准含 320 个 Change 任务与 80 个长程 Build 任务，任务在评估前冻结仓库快照、分阶段需求、浏览器证据和确定性检查。
- 作者报告：通过全部指定工作检查的 Change 运行中，28.2% 仍出现空白路由、横向溢出或控制台错误等连续性问题，10.8% 使已通过的浏览器状态回退为失败。
- 作者报告：静态 DOM 已通过的运行中，29.5% 在交互环节失败；在 586 次同时具备两种读数的运行中，18.3% 被检出破坏了已验证状态。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。