HERD 用 harness 演化加双锚点蒸馏降低持续学习遗忘。
资讯摘要
论文提出 HERD（Harness-Evolving Recursive Distillation），一种混合式持续学习框架：在 harness 侧持续精炼技能以捕捉可复用模式，并用有界记忆保留技能未能覆盖的高残差样本；在参数侧采用双锚点漂移约束蒸馏，以降低长递归运行中的遗忘。作者报告，在 TRACE+17 的 25 阶段任务流上、固定记忆与算力预算下，HERD 在新任务获取上匹配最强参数化基线，同时遗忘最少、通用能力保持最强。
要点速读
- 论文提出混合式持续学习框架 HERD，结合 harness 侧技能演化与参数侧蒸馏。
- harness 侧用有界记忆保留技能未覆盖的高残差样本，参数侧采用双锚点漂移约束蒸馏。
- 作者报告在 TRACE+17 的 25 阶段任务流上，HERD 新任务获取匹配最强参数化基线，遗忘最少。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。