MIS-VQA：标注驱动的手术视觉语言数据集

论文发布标注驱动的手术视觉语言数据集 MIS-VQA 及配套模型。

资讯摘要

论文提出 MIS-VQA，一个标注驱动的手术视觉语言数据集，将 EndoVis18 与 CholecT50 的阶段、器械、交互、三元组和分割标注转换为结构化文本场景表示，再引导大语言模型生成临床连贯的问答对。数据集支持简洁描述、详细描述、感知级定位和多步推理四类回答，并引入置信度过滤分割与跨标注一致性检查以缓解标注稀疏。作者同时提出 LLaVA-SurgXpert 模型系列，实验报告其优于现有手术 VQA 基线，并揭示感知定位与高层推理之间的能力差距。

要点速读

1. MIS-VQA 基于 EndoVis18 和 CholecT50，将多类手术标注统一转换为结构化文本场景表示，用于生成问答对。
2. 数据集覆盖四类回答类型，支持从原子视觉定位到组合推理的分层评估。
3. 作者提出 LLaVA-SurgXpert 模型系列，实验报告其相较现有手术 VQA 基线有一致提升。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。