资讯摘要
论文研究前缀调优的表达能力，探讨对预训练自回归 Transformer，任意输入输出序列对是否存在前缀使模型生成目标输出。作者证明若目标输出位于模型值域内，则存在可显式计算的前缀，并说明该假设是必要的。论文在 GPT-2 与 Qwen3-4B 上实验，作者报告该算法生成的前缀对模型输出有较强控制。
要点速读
- 论文提出：在目标输出属于预训练 Transformer 值域的前提下，存在前缀可通过求解多个线性系统显式算出。
- 作者表明该假设是必要的：假设不成立时前缀可能不存在，从而完整回答所提问题。
- 在 GPT-2 和 Qwen3-4B 上的实验显示，作者报告该算法产生的前缀对模型输出有较强控制。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。