结构化提示词可改善语言模型评测

提示选择本身即可改变基准分数与排行榜排名。

资讯摘要

论文提出将 DSPy 结构化提示词接入 HELM 评测框架，开展可复现的 DSPy+HELM 基准研究。作者用五种提示方法评测四个前沿模型和两个开源模型，覆盖七个基准，并与 HELM 基线分数对比，发现提示选择会实质影响排行榜：结构化提示平均提升 6% 性能，5/7 个基准的排名发生变化；思维链的成本性能权衡最佳，更高级优化器带来的额外收益较小。作者开源了评测代码与提示优化流水线。

要点速读

1. 论文用五种提示方法、四个前沿模型和两个开源模型、七个基准，对比 HELM 基线分数。
2. 作者报告结构化提示平均提升 6%，5/7 个基准的排行榜排名发生改变。
3. 思维链提供最强的成本性能权衡，更高级优化器的额外增益较小；DSPy+HELM 评测与提示优化流水线已开源。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。