Mixture-of-Control：面向Transformer的状态感知微调

MoC用稀疏混合专家实现跨层控制通信，提升状态式微调效果。

资讯摘要

论文提出Mixture-of-Control（MoC），用于Transformer的状态式微调。该方法把各模块的控制状态视为稀疏混合专家中的专家，实现跨层通信，自适应整合局部与全局控制信号，以增强适配时的表征学习。作者报告在33个数据集、10个预训练模型上，MoC优于现有状态式微调方法，且内存与计算效率相当。

要点速读

1. 论文指出，现有状态式微调多只做逐块控制更新，限制块间信息交换与表征适配。
2. MoC将块级控制状态作为稀疏混合专家中的专家，实现跨Transformer块的高效通信。
3. 作者报告在33个数据集、10个预训练模型上，MoC优于现有状态式微调方法，内存与计算效率相当。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。