测试通过率82.8%，行为充分率仅33.8%
资讯摘要
论文提出 Req2Test-Bench，用于评估 LLM 智能体在隐藏实现的情况下，能否根据自然语言需求生成行为充分的测试。该基准含 5,086 个经执行验证的实例，来自 8 个开源项目的 BDD 产物，覆盖 5 种语言和 4 个 BDD 框架。作者报告，在 8 种智能体、模型与推理配置中，最佳配置 Codex 搭配 DeepSeek-V4.1-Flash 的测试通过率为 82.8%，但行为充分率仅 33.8%。
要点速读
- 基准实例由开发者编写的 Gherkin 需求与对应测试实现配对构成，覆盖 5 种编程语言、4 个 BDD 框架。
- 行为充分性以 kill-completeness 衡量：生成的测试需杀死真实测试能杀死的全部变异体。
- 作者报告扩大智能体规模对行为充分性的收益递减，需求描述不充分是主要信息缺口。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。