DuplexTune 以状态重放降低 MoE 适配内存，但多语言表现偏弱。
资讯摘要
论文提出 DuplexTune，一种通过预训练注意力与专家模块重放耦合隐藏状态、以降低混合专家模型适配内存占用的框架。其用可训练宽度桥连接两条残差流，先预热桥再适配主干，并冻结路由权重。在 Qwen1.5-MoE-A2.7B 单卡 H800 上，作者报告峰值内存 38.8 GB、吞吐 25.1 samples/s，均优于带检查点的监督微调；MMLU 67.2%、GSM8K 75.6%、MT-Bench 7.69，但多语言得分弱于基线。
要点速读
- DuplexTune 用可训练宽度桥连接两条残差流，先桥预热再适配主干，路由权重保持冻结。
- 作者报告在 Qwen1.5-MoE-A2.7B 单 H800 上峰值内存 38.8 GB，对比带检查点监督微调的 64.8 GB；吞吐 25.1 对 19.9 samples/s。
- 评测得 MMLU 67.2%、GSM8K 75.6%、MT-Bench 7.69，多语言得分弱于带检查点基线。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。