论文用因果干预探测LLM本体知识,机制可及但未完全解耦。
资讯摘要
论文提出MIOE因果抽象基准,用互换干预评估大模型在本体工程两项任务(实体类型识别与包含关系预测)中的内部机制,测试干预能否改变本体层面答案并保留类别辅助信息。作者在Qwen3-8B与Qwen3-4B上比较SAE、DBM、DAS方法及多任务、多层变体,发现分布式子空间方法效果最强且跨提示设置泛化,但诱导变化与类别辅助信息仅部分分离;多任务目标与连续层窗口干预可改善平衡,不同本体类别差异明显。作者认为本体预测在机制上可及,但现有方法尚未分离出清晰解耦的因果机制。
要点速读
- 论文提出MIOE基准,对实体类型识别和包含关系预测做互换干预,检验内部干预目标能否改变本体层面答案并保留类别辅助信息。
- 在Qwen3-8B和Qwen3-4B上评估SAE、DBM、DAS及多任务、多层变体,分布式子空间方法结果最强并跨提示设置泛化。
- 诱导变化与类别辅助信息仅部分分离,多任务目标与连续层窗口干预改善平衡,类别层面差异显著。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。