SQuID 显示现有 VLM 卫星影像定量推理准确率仅约 28%。
资讯摘要
论文提出 SQuID 基准，用于评估视觉语言模型在卫星影像上的定量空间推理能力，包含 587 张影像上的 2000 道题，覆盖 24 种题型和三个难度层级。作者报告，15 个受测系统中最佳零样本端到端 VLM 准确率为 28.1%，遥感专用 VLM 更低；其提出的 QASR 基线达 42.0%，若改用参考掩码则升至 82.6%，说明分割是主要误差来源。
要点速读
- SQuID 含 2000 道题、587 张影像，地面采样距离 0.3–1.0 米，答案由精选分割掩码或人工共识计算，并按容差评分。
- 最佳零样本端到端 VLM 准确率 28.1%，QASR 基线 42.0%；在 1950 道掩码题上改用参考掩码后从 42.2% 升至 82.6%。
- Qwen2.5-VL-7B 在 SQuID-Train 上微调后准确率从 16.1% 升至 40.7%；Tier 3 多条件题仍最难。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。