Accordion：固定前缀层循环实现弹性深度推理

Accordion 用固定前缀层循环让单一模型支持五种推理预算。

资讯摘要

论文提出 Accordion，一种基于混合专家、通过固定前缀层循环支持五种推理预算的模型，最低预算保留未循环模型。联合预训练每个微批次采样一个预算并优化下一词预测损失，无需跨预算一致性目标；再经监督微调和强化学习保留各预算，并用参数组合并与预算匹配的多教师在线策略蒸馏整合三个领域专家。

要点速读

1. Accordion 基于混合专家，通过固定前缀层循环提供五种推理预算，每个预算对应预定义执行路径，最低预算为未循环模型。
2. 联合预训练每个微批次采样一个预算，仅优化下一词预测损失，不加入跨预算一致性目标。
3. 经 3.6T token 预训练后，增加推理深度使 Accordion-6B-A0.5B 在 37 项任务上的五类宏平均提升 3.01 个百分点，中间预算以一半的额外层执行量获得其中 89% 的增益。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。