相同权重不同推理程序导致行为差异

相同权重在不同推理程序下会改变部分 prompt 的生成 token。

资讯摘要

论文指出，同一组模型权重在不同执行程序下会产生不同的下一词分布：训练使用高精度累加与固定张量形状，而服务端采用低精度算术、融合注意力核、分页 KV 缓存和动态批处理。作者提出“kernel contracts”，规定服务核在各流量切片上相对参考核的允许漂移及超限处理方式，并给出连接两核 logit 差异与总变差、KL 散度、期望奖励变化、策略梯度偏差及贪心 token 是否改变的界。在 Qwen2.5-7B-Instruct 上用 Hugging Face 与 vLLM 的 GPU 实验显示，这些界在测得的每个 prompt 上成立。

要点速读

1. 论文将策略按执行它的 kernel 索引，提出 kernel contracts 约束服务核相对参考核的漂移。
2. 作者证明非渐近界，关联两核 logit 差异与总变差、KL 散度、期望奖励变化、策略梯度偏差及贪心 token 变化。
3. 在 Qwen2.5-7B-Instruct 上，更低精度、不同服务引擎和不同批大小都会在部分 prompt 上改变生成 token，且集中在模型对两个 token 接近犹豫的 prompt 上。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。