论文称现有终端任务合成多增工作量而非深度，并提出DEPTH方法。
资讯摘要
论文指出，长程终端任务常用模型所需轮数衡量长度、用生成时LLM打的标签衡量难度，但轮数更多反映模型习惯，标签与通过率关联很弱。作者用“工作量”（所需操作数）和“深度”（必须按序进行、每轮需读上轮输出才能选命令的轮数）描述任务，以任务通过所需的最小轮数上限估计深度，审计六个数据集共734个任务，发现合成主要增加工作量而非深度。作者提出DEPTH，在真实软件环境中逐段生成并执行任务，105个任务在深度和工作量上超过所有被审计数据集，六个现有模型均未通过半数。
要点速读
- 论文审计六个现有数据集的734个终端任务，发现94%被解决的合成任务在三轮内通过，合成主要增加工作量而非深度。
- 作者以“通过任务所需的最小轮数上限”估计深度，并称深度比轮数更能预测超出工作量之外的难度。
- DEPTH在真实软件环境中逐段生成并执行任务，产出105个任务；六个现有模型均未通过其中半数，用这些任务微调Qwen3-8B后在两个终端基准上有提升。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。