思维链损失加权应匹配任务格式与基座模型已有知识。
资讯摘要
论文比较两种思维链监督微调方法:对整段思维链与答案序列等权计算损失的 UaS,以及分别加权思维链与答案损失的 SwS。作者在 MedQA、EMS-MCQA 选择题和 Med-O1 自由文本问答上评测六个通用与医疗领域模型,发现没有一种方法普遍最优:选择题上 SwS 通常更好,通用模型受益最大,Qwen3.5-4B 在 MedQA 上较零样本基线最高提升 44.8%;自由文本问答上 UaS 几乎对所有模型最佳,3B Llama-3.2 接近更大的 7B 医疗模型。作者还发现过长思维链生成与部分模型表现下降相关。
要点速读
- 论文对比 UaS 与 SwS 两种思维链监督微调损失加权方式,在 MedQA、EMS-MCQA 和 Med-O1 上评测六个模型。
- 选择题问答中 SwS 通常更优,Qwen3.5-4B 在 MedQA 上较零样本基线最高提升 44.8%;医疗领域模型增益较小甚至为负。
- 自由文本问答中 UaS 几乎对所有模型最佳,3B Llama-3.2 接近 7B 医疗领域模型;过长思维链与部分模型表现下降相关。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。