ECHO：用熵控制缓解大模型灾难性遗忘

论文用输出熵作在线信号，闭环调节回放权重以缓解微调遗忘。

资讯摘要

论文提出 ECHO（Entropic Control for Homeostatic Optimization）闭环控制框架，用于缓解 LLM 监督微调中的灾难性遗忘。作者通过分解 KL 散度，将输出熵识别为 KL 变化的主要可观测分量，从而以熵作为在线代理实时监测遗忘风险，省去昂贵的参考模型推理。ECHO 用比例控制律，根据熵偏离预训练平衡的程度动态调整回放数据的梯度权重。作者报告在 0.6B 至 9B 参数模型上，ECHO 位于并部分扩展了塑性-稳定性前沿，且对数据混合比例变化保持稳健。

要点速读

1. 论文将输出熵作为 KL 变化的主要可观测分量，用作实时监测遗忘风险的在线代理，避免参考模型推理开销。
2. ECHO 采用弹性控制器，以熵偏离预训练平衡的偏差为误差信号，按比例控制律调节回放数据的梯度权重。
3. 作者报告在 0.6B 到 9B 参数架构上，ECHO 位于并部分扩展塑性-稳定性前沿，且对数据混合比例变化保持稳健。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。