回到信息流
研究论文 / THE SIGNAL

LLM修复方案的反事实评估框架

From Outcomes to Components: A Counterfactual Evaluation Framework for LLM-Proposed Repairs

AI 辅助整理

资讯摘要

论文提出一种反事实评估框架,用于拆解LLM生成的修复动作中的目标记录集与数值更新两部分。作者在交通网络和数据库场景中,从同一初始状态执行各组合进行对比。作者报告,114个交通动作中有76个同时修正两部分带来的增益超过分别修正之和;数据库修复中仅替换更新会使108个动作中的17个变差。在留出观测上,对提案及其重组目标-更新对进行选择可恢复参考动作61.6%的损失降低。

要点速读

  • 论文将LLM修复动作拆为目标记录集与数值更新两部分,在交通网络和数据库中评估其配对效果。
  • 作者报告114个交通动作中76个同时修正两部分的增益超过分别修正增益之和,另有6个动作单独修正任一部分会变差、同时修正则改善。
  • 数据库修复中仅替换所提更新会使108个模型动作中的17个变差,这些动作均选择了未受影响的记录;留出观测上重组选择恢复参考动作61.6%的损失降低,单独选择提案为58.0%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开