回到最新动态
研究论文 / THE SIGNAL

LLM能否忠实完成本体工程任务?机制可解释性研究

Can LLMs Faithfully Solve Ontology Engineering Tasks? A Mechanistic Interpretability Study

重要性 5.0 AI 辅助整理

论文用因果干预探测LLM本体知识,机制可及但未完全解耦。

资讯摘要

论文提出MIOE因果抽象基准,用互换干预评估大模型在本体工程两项任务(实体类型识别与包含关系预测)中的内部机制,测试干预能否改变本体层面答案并保留类别辅助信息。作者在Qwen3-8B与Qwen3-4B上比较SAE、DBM、DAS方法及多任务、多层变体,发现分布式子空间方法效果最强且跨提示设置泛化,但诱导变化与类别辅助信息仅部分分离;多任务目标与连续层窗口干预可改善平衡,不同本体类别差异明显。作者认为本体预测在机制上可及,但现有方法尚未分离出清晰解耦的因果机制。

要点速读

  1. 论文提出MIOE基准,对实体类型识别和包含关系预测做互换干预,检验内部干预目标能否改变本体层面答案并保留类别辅助信息。
  2. 在Qwen3-8B和Qwen3-4B上评估SAE、DBM、DAS及多任务、多层变体,分布式子空间方法结果最强并跨提示设置泛化。
  3. 诱导变化与类别辅助信息仅部分分离,多任务目标与连续层窗口干预改善平衡,类别层面差异显著。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开