中文决策模型用单次前向输出候选概率分布
资讯摘要
论文提出 Chinese Decision 中文决策模型家族,将预训练因果语言模型改造为对少量候选做概率分布输出:把问题编译为共享指令与候选提示,单次前向读取候选字母末位 logits 并在有效选项上归一化,无需自回归生成,覆盖布尔判断、类别选择与序数评分。作者报告基于 Qwen3.5 0.8B、2B、4B 的三个成员,在 1304.8 万条决策上各训练一轮,并附验证集拟合温度与 Q8_0 量化。
要点速读
- 接口覆盖布尔判断、类别选择与序数评分,单次前向输出候选概率,不做自回归答案生成。
- 三个成员基于 Qwen3.5 0.8B、2B、4B,同一 1304.8 万条决策训练一轮,发布时附验证集拟合温度与 Q8_0 量化。
- 作者报告 4B 模型在 307,900 条 CJ-Bench 上总体准确率 85.97%、通用域 75.69%、医学法律金融平均 84.00%,期望校准误差 1.00%;并称 2B 到 4B 在四个域均有提升,最大为两个低资源域(+8.5 与 +7.1 点)。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。