论文称LALM的CI决策受少数神经元集中控制,诊断信息则广泛分布。
资讯摘要
论文研究大型音频语言模型(LALM)从语音判断认知障碍(CI)时,内部哪些组件控制决策、表征中含多少CI信息。作者用类对比激活频率在解码器MLP中选出CI对比神经元(CICN),在八个开源LALM和Pitt、PROCESS-2两个语料上做因果消融。符合标准的五个模型中三个出现明显类别定向预测偏移;冻结CICN激活的线性读出在Pitt内AUC达0.92–0.97,高于模型直接回答的0.67–0.84。
要点速读
- 作者在八个开源LALM和Pitt、PROCESS-2两个语料上,用类对比激活频率在解码器MLP中选出CICN,并与规模、层匹配的随机掩码及活动匹配对照做因果测试。
- 符合标准的五个模型中三个在消融小规模CICN后出现大幅类别定向预测偏移;语音识别的掩码也能控制纯文本决策,四个主要Pitt掩码中三个在PROCESS-2上保持特异性。
- 冻结CICN激活的监督线性读出在Pitt内AUC为0.92–0.97,模型直接回答为0.67–0.84;匹配随机与全神经元读出性能相当,排名靠前的CICN仅在极小单元预算下有探索性优势。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。