论文发现答案密集度比常用指标更能预测指令微调效用。
资讯摘要
论文将“数据质量”作为可操作属性，考察来自数据选择、文本质量和指令微调研究的简单样本级指标，在固定微调预算下对训练效用的预测能力。方法上按各指标分数对指令-回复样本排序，按大致相等的 token 量分为低、中、高三档分别微调，比较验证困惑度与 LLM-as-judge 评分随累计训练 token 的变化。作者报告，以 response ratio 刻画的答案密集监督，比常用替代指标更能预测指令微调效用，且更具可移植性。
要点速读
- 论文按各质量指标分数将样本分为低、中、高三档，分别微调并比较验证困惑度与 LLM-as-judge 评分。
- 作者报告 response ratio 所刻画的答案密集监督，是比常用替代指标更强、更可移植的指令微调效用预测指标。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。