端到端模型可同时从视频估计姿态、接触与接触力。
资讯摘要
论文提出 PACT，一个从单目视频端到端联合估计人体姿态、接触与接触力的模型。作者在人体重建基础模型上加入可学习接触力 token 和时间 transformer，结合视觉特征与世界空间运动，并用物理监督约束运动与力的一致性。为缓解力标注稀缺，作者构建结合接触标注与物理优化的数据标注流程，并发布含力传感器真值的攀岩基准 ForceWall。作者报告其在接触与力估计上达到最优，优于分阶段方法。
要点速读
- PACT 将姿态、接触与接触力估计统一为端到端模型，避免分阶段误差传播。
- 作者构建数据标注流程，从合成与真实视频生成训练监督，并发布真实攀岩基准 ForceWall。
- 作者报告接触与力估计达到最优，并能泛化到训练分布之外的交互。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。