CausalMix 用因果推断离线推断数据混合比例，可跨数据池与模型规模外推。
资讯摘要
论文提出 CausalMix，把 LLM 训练中的数据混合优化建模为因果推断问题：将数据池统计特征作为协变量、领域混合比例作为处理变量，在 Qwen2.5-0.5B 上完成 512 次训练运行并拟合因果模型估计 CATE，再外推至 800K 数据池的最优混合并用于训练 7B 模型。作者报告该框架还推广到 Qwen3-4B-Base 的长思维链数据，且所选混合比例在每次训练中固定。
要点速读
- 将数据池统计特征作为协变量、领域混合比例作为处理变量，用因果模型估计条件平均处理效应（CATE）。
- 在 Qwen2.5-0.5B 上完成 512 次运行拟合模型，外推 800K 数据池的最优混合并训练 7B 模型。
- 作者报告该框架可推广到 Qwen3-4B-Base 的长思维链数据，下游任务表现与其他基线相当。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。