回到最新动态
研究论文 / THE SIGNAL

提示优化在强推理模型上难获显著增益

Compile as Hypothesis: A Headroom Typology for Prompt Optimization on Real Reasoning Models

重要性 5.5 AI 辅助整理

论文发现提示优化难提升强推理模型准确率,但可修复格式错误。

资讯摘要

论文在多个前沿推理模型上对四类提示优化器(基因组搜索、profile-guided mutation、GEPA、ESPO)和八项任务做同日配对测量,发现结构化搜索在强推理模型上未带来统计显著的准确率提升,但离散结构基因组能防止种子崩溃。作者基于190题评测提出三维余量分类:提示优化可修复协议与格式错误,却无法弥补知识缺口或物理截断。

要点速读

  1. 四类优化器、八项任务的结构化搜索在强推理模型上无统计显著准确率增益;无约束搜索在3/5次运行中向评审下限崩溃。
  2. 论文提出三维余量分类:提示优化能解决协议与格式错误,但无法补偿内在知识不足或token截断。
  3. 在gpt-6上GEPA取得+.14增益,作者归因约.035来自评审规则重建、约.105来自真实指令改进;并报告商业API故障窗口存在后端混用。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开