CIRCE 从约束结构预测 LLM 任务复杂度

CIRCE 用约束图在作答前预测 LLM 能否答对

资讯摘要

论文提出 CIRCE，用低成本 LLM 把问题抽取为约束中间表示，再确定性地编译成约束图，从而在模型作答前估计任务复杂度。作者在七个推理基准（含 SAT、逻辑、数学）和四个 LLM 上测试，即使使用随机初始化的 GNN 编码器，也能改善对 LLM 回答正确性的预测：负对数似然从 0.465 降至 0.423，AUROC 从 0.691 升至 0.727。

要点速读

1. CIRCE 用低成本 LLM 构建约束中间表示，并确定性地编译为约束图，显式利用问题中的变量与约束结构。
2. 在七个推理基准和四个 LLM 上，随机初始化的 GNN 编码器即可提升正确性预测。
3. 相对各指标最强基线，负对数似然由 0.465 降至 0.423，AUROC 由 0.691 升至 0.727。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。