REA：面向对话LLM的角色感知启发式情景注意力

REA用角色感知的上下文管理提升多轮对话指令遵循并降低延迟。

资讯摘要

论文关注多轮对话中模型丢失持久指令与相关信息的问题，将其归纳为注意力污染、稀释与漂移三种失效模式，并提出REA（Role-aware Heuristic Episodic Attention）上下文管理框架：指令记忆把全局约束保留在专用前缀，情景记忆保留用户输入、压缩模型回复，并用启发式检索为每轮历史选择原文、压缩表示或省略。作者报告在Long-MT-Bench+上评审分从6.32升至7.36（10分制），相对Vanilla基线提升16.5%，平均延迟降低2.91倍，并在1.7B–7B参数的三个骨干模型及中英文角色扮演任务上取得总体增益。

要点速读

1. 论文将多轮对话的累积上下文衰减归纳为注意力污染、稀释和漂移三种失效模式。
2. REA框架对指令与情景交互采用不同的持久化和表示策略，启发式检索决定每轮历史用原文、压缩表示还是省略。
3. 作者报告Long-MT-Bench+评审分由6.32升至7.36，相对提升16.5%，平均延迟降低2.91倍。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。