指令微调模型句法重叠更高，但条件规则复用低于预训练版。
资讯摘要
论文利用Blevins等[2026]的替换范式数据，在16个开源Llama与Gemma模型（1B-70B，含预训练与指令微调版）上测量相邻轮次对上下文无关文法（CFG）规则的重用，每模型1901个匹配位置。所有模型与前一人类轮次的CFG规则重叠均高于随机对照，低频规则差异更大；指令微调模型自然输出与真实前轮的重叠高于其所替换的人类回答。但相对预训练版，指令微调输出与无关前轮重叠更多、实际与随机的增量更小，控制目标规则集大小后条件规则复用几率更低。
要点速读
- 研究覆盖16个开源Llama与Gemma模型（1B-70B，预训练与指令微调），每模型1901个匹配位置，测量CFG规则在相邻轮次的重用。
- 所有模型与真实前一轮的CFG规则重叠高于随机对照，且该差异在低频规则上更大；八个同架构配对在指令微调后实际前轮重叠均上升。
- 指令微调模型与无关前轮重叠更多、实际与随机增量更小，条件规则复用几率更低；探索性分析中其词汇与语义相似度也高于匹配的人类回答。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。