SOMA：第一视角细粒度身体动作理解基准

新基准 SOMA 显示 MLLM 第一视角身体动作理解明显落后于人类。

资讯摘要

论文提出 SOMA，一个从第一视角视频评估多模态大模型细粒度身体动作理解能力的基准，包含 1,632 个人工核验问题，覆盖身体构型、运动动态与时间推理三个维度。作者评测了 37 个闭源、开源及专用第一视角 MLLM，并辅以人工评测：人类仅凭视频准确率为 68.5%，最强模型 Qwen3.6-27B 零样本为 50.0%。错误分析显示模型常误读佩戴者自身身体、错判事件时序，并存在偏好右手、漏计重复次数等偏差。作者还提供对齐视频、身体动作与语言监督的训练数据集及多模态基线，完整基准、训练数据和代码将发布。

要点速读

1. SOMA 含 1,632 个人工核验问题，分身体构型、运动动态、时间推理三类。
2. 评测 37 个 MLLM：人类准确率 68.5%，最强模型 Qwen3.6-27B 零样本 50.0%。
3. 作者报告模型常见失败模式：误读自身身体、时序判断错误、偏好右手与漏计重复次数。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/29 08:00:21（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。