论文用 token 熵引导长序列知识编辑的窗口滑动与优化。
资讯摘要
论文提出 DynEdit,一种面向大语言模型长序列知识编辑的动态框架。作者观察到 token 熵与编辑难度和语义重要性相关,高熵区域更难编辑且常含关键事实内容。DynEdit 用 token 级熵引导非均匀滑动窗口,提高高熵区域覆盖,并在窗口内做熵引导的 token 级优化。作者报告在三个基准和两个骨干模型上优于基线,改写查询最高提升 14.0 BLEU。
要点速读
- 论文指出单点编辑器覆盖不足、固定分块编辑器均匀分配编辑力度,难以优先处理高熵难编辑 token。
- DynEdit 以 token 级熵引导非均匀滑动,并对窗口内信息密集 token 加强优化。
- 作者报告在三个基准、两个骨干模型上优于竞争基线,改写查询最高 +14.0 BLEU,部分领域语义分数接近饱和。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。