回到最新动态
交叉发布 / THE SIGNAL

Omni-UBench:全模态LLM护栏评测基准

Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability

重要性 5.0 AI 辅助整理

论文发布全模态护栏评测基准 Omni-UBench,并报告现有护栏的跨模态短板。

资讯摘要

论文提出 Omni-UBench,作者称其为首个面向全模态安全评估的综合框架,从安全性、效用与可靠性三个维度评测护栏模型。该基准汇集 35 个以上异构来源的逾 18.3 万条样本,覆盖文本、图像、音频、视频及跨模态组合,并按统一风险分类标注。作者对 15 个代表性 OLLM 与全模态护栏进行评测,报告现有护栏仍难识别隐藏有害意图的跨模态查询与复杂越狱,并存在安全幻觉和对文本模式过度敏感的问题。

要点速读

  1. Omni-UBench 汇集 35+ 来源、逾 18.3 万条样本,覆盖文本、图像、音频、视频及跨模态组合,并按统一风险分类标注。
  2. 作者在 15 个代表性 OLLM 与全模态护栏上评测,报告未经护栏专门调优的 OLLM 也具备较强内容审核潜力。
  3. 作者报告现有护栏难以识别隐藏有害意图的跨模态查询和复杂越狱,并存在安全幻觉与对文本模式过度敏感。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开