FusionEval 基准显示无训练融合会明显削弱工具使用能力。
资讯摘要
论文提出 FusionEval,用于评测大语言模型模型融合。该基准提供受控专家池,覆盖数学、代码、科学、指令遵循与工具使用,并统一评测有无额外训练的融合方法。作者报告,无训练方法能保留推理性能,但在两种模型规模上明显削弱工具使用;MOPD 能保留工具使用且能力更均衡,但需额外数据准备、推理与训练。
要点速读
- 专家池由基于 Qwen3 与 Llama 基座独立训练的领域专家组成,覆盖数学、代码、科学、指令遵循和工具使用。
- 评测在八个公开基准上报告归一化平均与最差性能、运行时间和峰值 GPU 显存,并比较能力保留与计算成本。
- 实验显示无训练融合方法保留推理但显著降低工具使用;MOPD 保留工具使用且能力更均衡,但需额外数据准备、推理和训练。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。