新基准显示文本到可视化基础执行近解决,但数据复现仍差。
资讯摘要
论文提出 VisCodeBench,一个端到端文本到可视化基准,含教育、科学和大众场景共 2,672 个样本。作者用 Codex、Claude Code 和 LIDA 搭配多种开源与商用 LLM,在七项指标上评测。结果显示基础执行接近解决,但最佳展示数据相似度仅 0.81,最难子集降至 0.69;系统设计影响与底层模型相当,延迟仍为 39–78 秒。
要点速读
- VisCodeBench 含 2,672 个样本,覆盖教育、科学、大众三类场景及不同复杂度。
- 作者报告最佳展示数据相似度为 0.81,最难子集仅 0.69,无系统接近复现参考数据。
- 同样基于 GPT-5,Codex 明显优于 LIDA,说明提示、执行与修正流程影响显著。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。