PRISM：用分步序列推理识别流程视频中的错误

PRISM 用语言锚定加隐马尔可夫模型识别流程视频中的步骤错误。

资讯摘要

论文提出 PRISM（Procedural mistake Recognition via Interpretable Semantic Modeling），用于在流程视频完成后识别步骤内容与顺序错误。方法将视频片段用语言描述锚定，并用在正确执行上训练的轻量隐马尔可夫模型把描述映射为流程状态，再通过参考对齐与语义检查发现错误。作者把各数据集标注统一为插入、删除、替换、转置四类编辑错误，在三个基准上比较人工与 VLM 生成描述的不同形式。作者报告训练得到的局部解码器较最近候选匹配有稳定提升，序列解码带来依数据集而异的额外收益，语义角色标注在六组匹配比较中均提升 Any-F1，但增益随数据集变化。

要点速读

1. PRISM 将视频片段转为语言描述，再用轻量隐马尔可夫模型映射到流程状态，以识别步骤内容与顺序错误。
2. 作者把不同数据集的标注统一为插入、删除、替换、转置四类编辑错误，并在三个基准上评估。
3. 作者报告局部解码器优于最近候选匹配，语义角色标注在六组匹配比较中均提升 Any-F1，但增益因数据集而异。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。