SKIM 把对话以自生成问题为键写入冻结模型参数,实现无外部存储召回。
资讯摘要
论文提出 SKIM(self-keyed in-parameter memorization),一种闭式方法:模型针对每轮对话自行生成多个不同问法的问题,并将这些问题作为键写入模型参数,后续用户提问可匹配其中一条,仅凭参数召回该轮内容,无需外部存储。作者在五个语言模型上评估,报告称 SKIM 能从后续用户问题中召回大部分已存对话轮次,并在无外部存储的情况下作答。
要点速读
- 论文设定模型无外部记忆、且事先不知道未来问题及答案的环境,研究对话能否存入模型参数。
- SKIM 为每轮对话生成多个变体问题作为检索键写入参数,以应对用户提问措辞不同。
- 作者在五个语言模型上评估,报告称可召回大部分已存对话轮次并仅从参数作答。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。