论文提出MISTILL：蒸馏大输出空间推理机制

论文定位大输出空间选标签的注意力头机制，并提出MISTILL蒸馏方法。

资讯摘要

论文研究推理训练语言模型如何在数万至数十万候选标签中零样本选出少量相关标签，并以MIMIC-IV出院小结临床编码为场景，在上下文含全部5,651个候选码时定位到一组全局、分阶段结构的注意力头。作者报告这些头在几乎每份小结上既必要又充分，不同头族分别读取候选区域与推理中先前提到的近失标签。论文提出MISTILL，除思维链外还监督学生在这些决策事件上的池化注意力。

要点速读

1. 研究以MIMIC-IV出院小结临床编码为任务，上下文包含全部5,651个候选码，用归因、精确均值消融、跨样本敲入与零校准判定单个注意力头的因果作用。
2. 作者报告一组小型、全局、分阶段结构的注意力头在几乎每份小结上既必要又充分，且该结构在第二个推理模型上重现。
3. MISTILL在跨家族学生模型上将近乎翻倍对比决策的因果恢复，在已具备大部分该能力的学生上带来小幅且种子稳定的增益；预注册证据翻转测试未检测到改进。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。