BULLPEN 用回答文本嵌入以数百题低成本刻画模型行为。
资讯摘要
论文提出 BULLPEN 框架，在 EmbedLLM 基础上扩展：整理下游任务并新增 20 个行为、风格与来源基准，首次将模型自身回答文本与正确性、问题文本联合编码，并用数百个问题替代全部 24,118 题。作者报告在 260 个开放权重模型上，回答文本编码器在新任务上得分 0.48±0.10，优于此前最佳编码器的 0.35±0.10；仅用 400 题即可保留至少 91% 的全题池能力，而仅用正确性的基线为 83%。
要点速读
- BULLPEN 新增 20 个行为、风格与来源基准，并首次联合读取回答文本、正确性与问题文本。
- 在 260 个开放权重模型上，回答文本编码器新任务得分 0.48±0.10，此前最佳为 0.35±0.10。
- 仅用 400 题（约为全题池推理算力的 1.3%）可保留至少 91% 的全题池能力，仅正确性基线为 83%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。