LAPS：为大型语言模型持续适配学习锚定提示空间

论文提出锚定提示空间方法LAPS，在TRACE上减少持续适配遗忘。

资讯摘要

论文提出 LAPS（Learning an Anchored Prompt Space），用于大语言模型的持续适配：先用自蒸馏让历史提示与更新后的模型对齐，再构建以各任务软提示为顶点、由可学习贝塞尔控制提示塑造中间几何的锚定提示空间，并在验证集上为每个任务选择表现最佳的提示以利用相关任务知识。作者在 TRACE 基准、三种 Qwen3 规模上报告，LAPS 优于基于蒸馏、基于提示及提示-参数联合适配的方法，提升整体任务表现并减少遗忘。

要点速读

1. 论文指出联合适配参数与任务软提示存在两点局限：模型演化后旧提示可能失效，提示间可支持跨任务迁移的关系未被显式学习。
2. LAPS 先用自蒸馏对齐历史提示与更新模型，再以任务软提示为顶点、可学习贝塞尔控制提示塑造空间几何。
3. 在 TRACE 基准与三种 Qwen3 规模上，作者报告 LAPS 优于蒸馏、提示及联合适配基线，并减少遗忘。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。