论文提出BedBench，揭示视觉语言模型3D属性计数与一致性短板。
资讯摘要
论文提出BedBench基准，包含13个程序化生成的受控任务，用于考察视觉语言模型对3D物体属性的判断与组合使用。作者报告，在按颜色计数任务上人类准确率为93.3%，最佳模型仅7.2%；定向微调可将某模型从3.0%提升至68.6%，但其对最常见颜色的回答仍与自身计数不一致。对Qwen3.5-27B的探测显示，精确计数在语言模型输入端仍可恢复，但模型输出很少复现。
要点速读
- BedBench含13个程序化生成任务，覆盖单项判断与组合答案。
- 按颜色计数任务中人类准确率93.3%，最佳模型7.2%；定向微调使某模型从3.0%升至68.6%，但回答与自身计数不一致。
- 探测Qwen3.5-27B时，精确计数在输入端可恢复（65.0%），模型输出仅3.0%；去除图像的对照显示部分成功不依赖视觉证据。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。