回到最新动态
研究论文 / THE SIGNAL

论文审计LLM智能体25个认知架构模块

Real Computation or Merely Naming? A Pre-Registered Mechanism Audit of 25 Cognitive-Architecture Modules in an LLM-Based Agent System

重要性 6.0 AI 辅助整理

论文审计发现25个认知模块中18个未接入实际输出。

资讯摘要

一篇预注册论文提出四问静态审计协议,用行号证据与调用链追踪核查LLM智能体所称认知机制是否真正参与计算。作者审计一个宣称含25个认知机制的系统,并对11个模块做可证伪干预;在第二个独立系统的IIT-phi核心上复现该协议,另做两项修复实验作为阳性对照。作者报告25个模块中有18个的计算值从未进入生产输出,并归纳出三种闲置接线形态。

要点速读

  1. 论文提出四问静态审计协议,结合行号证据与调用链追踪,用于检验声明与实现之间的差距。
  2. 作者报告:25个模块中18个的计算值从未到达任何生产输出,并归纳出connected-but-never-called、called-but-inert、called-but-content-blind三种闲置接线形态。
  3. 12项干预共61条冻结判据中53条被确认、5条被证伪;修复实验使planner任务成功率从0.028升至1.000,state-controller误差降低52%。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/3 08:00:27(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.AI 原文arxiv.org · 在新窗口打开