论文用少量软提示向量自动适配基准格式以改进LLM评测。
资讯摘要
论文提出一种基于软提示微调的自动化模型评测方法，仅优化约10个软提示向量（7B模型约0.0006%参数），即可让模型适配特定基准格式，减少格式遵循能力对分数的干扰。作者在7个模型、11个数据集上报告：约150步（约1200样本）内格式遵循趋于饱和且保持知识准确率，在长上下文数据集和不同输出风格的指令微调变体上评测信号更清晰。
要点速读
- 方法仅优化约10个软提示向量，7B模型下约占0.0006%参数，无需人工设计基准专用提示或解析器。
- 在7个模型、11个数据集上，作者报告约150步（约1200样本）内格式遵循饱和，同时保持知识准确率。
- 作者报告该方法在长上下文数据集和输出风格不同的指令微调变体上评测信号更好，并使精确匹配与独立LLM评判的一致性提高。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。