新基准 OpenHome 评测智能家居视频理解，最佳模型准确率 81.2%。
资讯摘要
论文提出 OpenHome，一个仅含视觉信息、四选一选择题形式的智能家居视频理解基准，包含 1,118 段真实视频片段上的 2,254 道问题，将 10 项任务归为感知、推理、洞察三个能力层级。作者报告了 32 个闭源与开放权重 VLM 的结果：最佳模型 Gemini 4 Argon 总体准确率为 81.2%，前沿闭源模型在各层级均优于开放权重模型。
要点速读
- OpenHome 含 1,118 段真实智能家居视频、2,254 道四选一题，任务分感知、推理、洞察三层。
- 作者报告 32 个闭源与开放权重 VLM 的评测结果，最佳为 Gemini 4 Argon，总体准确率 81.2%。
- 作者称最佳闭源模型在感知、推理、洞察上分别领先最佳开放权重模型 16.3%、22.4%、37.4%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。