Transformers 提出模型集成契约 MIC

小型 fixture 契约可在 CPU 上提前捕获注意力回归

资讯摘要

Hugging Face 博客介绍 Transformers 的模型集成契约（MIC）：将真实 checkpoint 的配置缩小为 fixture，保留各类层与分词器文件，在 CPU 上运行使用路径并与人工审核的基线比对。作者称用小型 UMT5 fixture 回放五个月提交，可复现 2026 年 7 月 30 日至 9 月 28 日的 SDPA 注意力回归。

要点速读

1. MIC 由 fixture、可运行的 Markdown 使用路径和人工审核的基线三部分组成，契约在 fixture 上运行仍产出基线即成立。
2. 作者报告 UMT5 fixture 权重 66 MB，源 checkpoint 为 1,227 MB；Llama 4 Scout 从 108.6 亿参数缩至 4470 万。
3. 回放中该回归使标签对数概率偏离基线 1.22、训练损失约 0.20，且只有走默认 SDPA 路径的契约才能发现。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:26（北京时间）。