数据策展能否提升模型上限取决于训练与目标间是否存在可纠正差距。
资讯摘要
论文区分数据策展的两种作用：提升（提高可达性能）与加速（用更少数据达到同样性能）。作者通过解析刻画与真实LLM实验指出，提升需要存在可纠正的训练-目标差距；当基线训练目标与目标一致时，任何策展策略都无法改善终点，但可能加速训练。作者据此提出Δ-test，用未策展基线的训练损失与目标损失之差预测策展收益。
要点速读
- 论文将数据策展效果形式化为提升与加速两类，并给出解析刻画。
- 实验显示Δ显著非零时策展收益持续，Δ接近0时收益随训练预算增大而减弱。
- 作者提出Δ-test，可在昂贵策展前计算未策展基线的训练-目标损失差。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。