论文用问题特定知识图谱替代图像描述，减少视觉推理的 token 消耗。
资讯摘要
论文提出 VisKG，一个强化学习框架，让模型把视觉内容转译为针对具体问题的知识图谱表示，以过滤无关感知噪声、保留链式推理所需的实体关系结构，遵循最小充分信息原则。为稳定强化学习后训练，VisKG 采用 GDPO 方法，并在监督阶段加入负向推理样本。作者报告在科学、数学和通用视觉理解基准上，VisKG 性能与基线相当或更好，且所需 token 少于基于图像描述的方法；使用 GDPO 训练比 GRPO 版本平均提升 2% 准确率。
要点速读
- VisKG 用强化学习让模型生成问题特定的知识图谱，而非冗长的图像描述，以减少输入 token。
- 采用 GDPO 稳定强化学习后训练，并在监督阶段引入负向推理路径样本。
- 作者报告在科学、数学和通用视觉理解基准上性能不逊于基线，GDPO 版本比 GRPO 平均高 2%。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。