重命名后分数下降混合了记忆、名称评分与新名称成本。
资讯摘要
论文在TLA+语言上检验一致标识符重命名（CIR）这一记忆检测方法，利用模型检查器作为判定器，确认重命名任务是否保持原有行为。在111个TLA+-Bench任务上，重命名使Claude Opus 4.8正确率从28%降至18%，GPT-5从9%降至7%；作者指出降幅主要来自要求精确名称的评分方式，改为按行为评分后降幅分别缩至约3个百分点和0。
要点速读
- 在111个TLA+-Bench任务上，重命名后Claude Opus 4.8正确率由28%降至18%，GPT-5由9%降至7%。
- 降幅主要源于评分要求精确标识符名称，而多数描述并未给出这些名称；按行为评分后Opus 4.8降幅约3个百分点，GPT-5为0。
- 在两个分别用任务不相交两半微调的模型家族中，重命名消除约一半似然训练增益，在未见任务上Qwen损失4.9个百分点、Gemma损失1.3个百分点。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。