论文提出过程级基准，用于评测LLM的智能体数学能力
资讯摘要
论文指出多数数学基准只评最终答案，难以诊断过程性失败。作者提出过程级基准，将解题智能体行为对齐到可复用的数学原子能力分类体系，覆盖文本与多模态的规划、行动、反馈任务，并用自动化流水线合成轨迹、经受控LLM改写生成细粒度标注。实验显示端到端准确率相近的模型，其智能体能力画像差异明显。
要点速读
- 论文认为结果导向评测对定位过程级失败诊断价值有限
- 基准将智能体行为映射到可复用数学原子能力分类，覆盖规划、行动、反馈任务
- 实验发现端到端准确率相近的模型，智能体能力画像可显著不同
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/23 08:00:11（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。