谱扰动可轻量探测大模型能力如何组织与权衡
资讯摘要
论文研究对 Llama 与 Qwen 指令模型的 up_proj、down_proj 矩阵做后处理谱扰动：正向扰动放大奇异值偏离几何均值的程度（尖峰化），负向则相反，且保持奇异向量与奇异值几何均值不变。作者在五个开放模型上评估能力子任务、推理基准、真实性、幻觉、安全与 TRAIT 人格探针，并用事实知识、语言理解、演绎推理三维能力基拟合得分变化。
要点速读
- 干预对象为 transformer 前馈投影的 up_proj 与 down_proj 矩阵，保持奇异向量和奇异值几何均值不变
- 在五个开放 Llama 与 Qwen 指令模型上测试能力子任务、标准与思维链推理、真实性、幻觉、安全及 TRAIT 人格探针
- 作者报告大幅正扰动更稳定地压低语言与演绎响应，中等负扰动有时提升事实或局部任务表现，敏感度随模型家族、基准模块与逐层谱不均衡程度变化
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。