面向多专业领域的语言模型升级改造

新方法用专家路由实现多领域适配，路由准确率显著提升。

资讯摘要

论文提出 Domain-Specialized Upcycling（DS-Upcycling）方法，用于大语言模型的多领域适配。该方法在稠密 Transformer 层中加入专家与路由器，并引入领域感知监督，使路由器学会按输入领域选择合适专家；微调新领域时只更新对应专家和路由器，其余参数冻结。作者报告，该方法在适配领域上的平均表现优于基线，并保持通用性能；每领域仅用 256 条样本监督路由器，适配后路由准确率达 90–98%，而无此方法的为 43–70%。

要点速读

1. 论文提出 DS-Upcycling，通过增加专家和路由器扩展模型容量，替代按领域训练 LoRA 适配器的做法。
2. 微调每个新领域时仅更新对应专家与路由器，冻结其他参数，并加入领域感知监督训练路由器。
3. 作者报告适配领域平均性能最高且保留通用性能；每领域 256 条样本下路由准确率 90–98%，对照为 43–70%。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。