论文用静态与动态校验提升内核生成的批次不变性通过率。
资讯摘要
论文指出，LLM 服务系统动态批处理请求，若 GPU 内核缺乏批次不变性（BI），同一输入在不同批次上下文中可能产生不同数值输出，影响可复现性。作者在 83 个可批处理已发布产物中发现 19 个确认的 BI 违规，并提出一种结合契约引导静态依赖分析与跨批次上下文按位一致性动态验证的工具，作为通用内核智能体的插件，在优化循环中充当连续验收门。论文报告在三个智能体框架、真实 LLM 服务任务上，BI 通过率从 67.6% 提升至 91.9%，同时保留基线几何平均加速的 91.8%。
要点速读
- 论文在 83 个可批处理已发布产物中发现 19 个确认的批次不变性违规。
- 所提工具结合静态依赖分析与动态按位一致性验证，可作为通用内核智能体的插件。
- 论文报告 BI 通过率从 67.6% 升至 91.9%，保留基线几何平均加速的 91.8%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。