LinMix 用顶点采样把数据混合变成可解释线性归因。
资讯摘要
论文将预训练数据领域权重选择视为领域归因问题，指出常用的 Dirichlet 采样代理混合回归设计不佳。作者提出 LinMix，在受限单纯形的顶点采样混合，使每个领域处于上限或缺失，从而得到可解释的线性模型，系数即领域归因；论文证明最优混合只保留正归因领域且无需搜索候选混合。在 1B OLMo2 与 4B Qwen3.5 预训练实验中，LinMix 在推理、代码和数学基准上优于 Dirichlet 方法，作者报告 MBPP 相对提升 46%、GSM8K 提升 14%；在 288 个细粒度领域下仅顶点采样支持线性拟合，平均准确率较最佳非线性基线提升 11%。
要点速读
- 论文把数据混合的代理模型回归视为领域归因问题，认为 Dirichlet 采样混合是较差回归设计，难以支持数百领域的线性拟合。
- LinMix 在受限单纯形顶点采样，每个领域处于上限或缺失，无需调参，系数即领域归因，并证明最优混合只保留正归因领域。
- 作者报告 1B OLMo2 和 4B Qwen3.5 预训练实验中 LinMix 优于 Dirichlet 方法，MBPP 相对提升 46%、GSM8K 提升 14%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。