COMPREHEND：用蕴含层级构建超细粒度提示词基准

新方法用蕴含层级替代聚类名，提升提示词分类细粒度与信息量。

资讯摘要

论文提出 COMPREHEND，自动为用户提示词构建超细粒度的蕴含层级，用句子替代传统分类法中的聚类名称，以更精确地描述提示词类别。作者报告在 WildBench 上，蕴含/忠实度指标由 EvalTree 的 22.6 提升至 41.7，信息量指标由 16.3 提升至 39.1；基于该层级生成的弱点报告在预测基准回复得分上更具信息量。代码已公开。

要点速读

1. COMPREHEND 用蕴含层级中的句子替代聚类名称，实现更细粒度的提示词分类。
2. 在 WildBench 上，蕴含/忠实度指标从 EvalTree 的 22.6 升至 41.7，信息量指标从 16.3 升至 39.1。
3. 作者报告基于该层级生成的弱点报告在预测回复得分上比 EvalTree 更有信息量，代码已在 GitHub 公开。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。