指令微调会引入回避整十数并强化回避端点的数字选择倾向。
资讯摘要
论文提出一种不依赖采样的方法，直接计算语言模型对1到N每个整数赋予的概率，覆盖18个开源权重模型系列、5种范围（最大N=100）、29种解码配置和两套推理栈，其中15组有可用的基座与指令微调配对检查点。作者报告指令微调使全部15对的分布更不均匀，引入回避整十数的启发式并强化回避端点（1和N）的倾向；偏好奇数仅在N=100时于微调模型中一致出现。
要点速读
- 方法通过累加各整数拼写的得分计算概率向量，避免采样误差。
- 15组配对中，指令微调均使数字分布更不均匀，并引入回避整十数、强化回避端点。
- 微调未形成跨模型共享的偏好整数：N>10时无众数整数被超过42%的微调条件共享，P(17)在10组上升、5组下降。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。