回到最新动态
交叉发布 / THE SIGNAL

视觉-语义情感图提升艺术品情绪识别

Beyond Vision-Language Models: Visual-Semantic Affect Graphs for Emotion Recognition in Artworks

重要性 4.5 AI 辅助整理

图结构显式建模视觉-语义关系,优于直接 VLM 情绪预测。

资讯摘要

论文提出视觉-语义情感图(VSAG)框架,将艺术品表示为颜色、笔触、构图、光影、线条质量及视觉实体等可解释特征节点,学习特征与情绪的关联以预测主导情绪,并通过可选的分层辅助情感模块建模效价-唤醒结构。作者在 EmoArt-5k 上以 Qwen3-VL 和 InternVL3.5 的直接推理为基线对比,报告图模型在主导情绪预测上更优,其中分层效价-唤醒变体在准确率、macro-F1 和 weighted-F1 上均超过直接 VLM 推理与仅情绪版 VSAG。

要点速读

  1. VSAG 用颜色、笔触、构图、光影、线条质量与视觉实体等可解释节点构建图结构,学习特征-情绪关联。
  2. 在 EmoArt-5k 上,直接 VLM 推理为有用但有限的基线,图模型提升主导情绪预测。
  3. 分层效价-唤醒变体整体表现最佳,作者称图模型与 VLM 捕捉部分互补信号。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开