SMC 引导让小模型在目标语法覆盖上超过大 140 倍模型
资讯摘要
论文提出用序贯蒙特卡洛（SMC）引导小型语言模型的对话生成，使其产出符合教学资源中目标语法结构的句子。作者报告，仅用少量手工设计的势函数，SMC 对目标语法的覆盖接近完美，小模型在该任务上超过参数量为其 140 倍的模型的最好结果；并用前沿模型合成代码生成新势函数，使方法可扩展到数百个语法技能，无需额外训练或监督数据。
要点速读
- 论文用序贯蒙特卡洛引导小模型对话生成，使其贴近专家教学资源中的目标语法结构。
- 作者报告仅需少量手工势函数即可接近完美覆盖目标语法，小模型表现超过参数量大 140 倍的模型的最好结果。
- 作者用前沿模型合成代码生成新势函数，称方法可扩展到数百个语法技能，无需额外训练或监督数据。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。