CLIK把上下文一次性内化为LoRA参数，供多次查询复用。
资讯摘要
论文提出CLIK，一种上下文条件参数生成器：通过带交叉注意力的Transformer编码器，将给定上下文映射为LoRA参数，单次前向即可完成，无需测试时梯度更新。生成的LoRA插入冻结基座模型后，模型仅凭查询作答，同一文档的适配器可复用，从而摊薄读取成本。在文档问答上，CLIK优于无上下文基座及现有超网络生成器，但仍落后于直接读取上下文的基座模型，并可迁移至多轮对话。
要点速读
- CLIK用Transformer编码器加交叉注意力，将上下文映射为LoRA参数，无需逐任务优化或测试时梯度更新。
- 适配器仅依赖上下文，生成一次即可复用于同一文档的所有查询，摊薄读取成本。
- 文档问答上优于无上下文基座和现有超网络生成器，但不及直接读取上下文的基座模型；可零样本迁移到多轮对话。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。