SPLICE 用跨视图一致性筛选经验知识,并让模型与知识交替演化。
资讯摘要
论文提出 SPLICE 框架,用于一致性正则化的知识-模型协同演化。作者指出,同一经验经不同分析方式可得到效用差异很大的知识,因此通过扰动经验分析方式构造多个演化视图,以跨视图的共同增益指导知识更新;模型演化阶段用自蒸馏结合强化学习内化知识,并以效用一致下降的知识作对比参考。实验显示,SPLICE 在多个领域平均准确率上分别超过知识演化和模型训练基线最多 7.1 和 4.6 个百分点,演化知识使每个正确解的 token 数最多减少 44%,并可跨模型规模和家族迁移。
要点速读
- 论文提出 SPLICE,通过扰动同一经验的分析方式构造多个演化视图,用跨视图共同增益指导知识更新。
- 模型演化阶段以自蒸馏结合强化学习内化知识,并将效用一致下降的知识作为对比参考。
- 作者报告平均准确率超过知识演化和模型训练基线最多 7.1 与 4.6 个百分点,每个正确解的输出 token 最多减少 44%。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。