免训练框架 MinimalLM 在少量质量损失下大幅缩短模型输出。
资讯摘要
论文提出免训练框架 MinimalLM，用于控制大语言模型输出长度。它把“何时停止”与“停止后结构是否完整”分开处理，结合不确定性感知、随长度调整的停止词机制与结构完整性护栏，无需改模型参数或引入辅助模型。作者在三个开源模型、330 个问题上生成 5,940 条回复，报告 token 减少 47.6%、单条响应提速 19–68%，主评测中未出现结构性截断，平均质量 8.04/10，未修改模型为 8.42/10，等长截断为 6.46/10。
要点速读
- 方法为免训练框架，协调响应级指令、解码时干预与完成度检查，不修改模型参数。
- 作者报告生成 token 减少 47.6%，单条响应加速 19–68%，主评测无结构性截断输出。
- 平均质量 8.04/10，低于未修改模型的 8.42/10，高于等长截断的 6.46/10。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。