回到最新动态
交叉发布 / THE SIGNAL

大型音频语言模型认知障碍判断的因果集中与信息分布

Concentrated Causal Influence, Distributed Diagnostic Information: Cognitive Impairment Decisions in Large Audio-Language Models

重要性 5.0 AI 辅助整理

论文称LALM的CI决策受少数神经元集中控制,诊断信息则广泛分布。

资讯摘要

论文研究大型音频语言模型(LALM)从语音判断认知障碍(CI)时,内部哪些组件控制决策、表征中含多少CI信息。作者用类对比激活频率在解码器MLP中选出CI对比神经元(CICN),在八个开源LALM和Pitt、PROCESS-2两个语料上做因果消融。符合标准的五个模型中三个出现明显类别定向预测偏移;冻结CICN激活的线性读出在Pitt内AUC达0.92–0.97,高于模型直接回答的0.67–0.84。

要点速读

  1. 作者在八个开源LALM和Pitt、PROCESS-2两个语料上,用类对比激活频率在解码器MLP中选出CICN,并与规模、层匹配的随机掩码及活动匹配对照做因果测试。
  2. 符合标准的五个模型中三个在消融小规模CICN后出现大幅类别定向预测偏移;语音识别的掩码也能控制纯文本决策,四个主要Pitt掩码中三个在PROCESS-2上保持特异性。
  3. 冻结CICN激活的监督线性读出在Pitt内AUC为0.92–0.97,模型直接回答为0.67–0.84;匹配随机与全神经元读出性能相当,排名靠前的CICN仅在极小单元预算下有探索性优势。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开