回到信息流
交叉发布 / THE SIGNAL

OR-License:评估LLM智能体作为真实运筹学从业者

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners

AI 辅助整理

资讯摘要

论文提出OR-License,一个端到端基准,含来自付费运筹学项目的31个实例、覆盖10个工业场景,保留原始需求、数据、交付格式与信息边界,并引入ORSim客户模拟器考察信息获取。作者报告,11个前沿LLM中部分条件目标质量超过专家参考,但无一在部署调整质量(DAQ)上匹配专家;最强Claude Code配置严格可行性88.39%、DAQ 0.87。

要点速读

  • 基准含31个实例、10个工业场景,来自总额368万美元的付费运筹学项目,经脱敏保留原始材料与信息边界。
  • ORSim模拟客户只披露业务事实、不提供运筹学专业支持;隐藏评估检查可行性并与客户接受的专家方案比较目标质量。
  • 作者报告11个前沿LLM中部分条件目标质量超过专家参考,但DAQ均未达专家基准1;最强Claude Code配置严格可行性88.39%、DAQ 0.87。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:32(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开