论文发现六个 Gemma 2 模型均具备核心情绪几何，规模改变其分布方式。
资讯摘要
论文测量 Gemma 2 2B、9B、27B 基础版与指令微调版共六个模型的情绪几何。作者报告六个模型均呈现核心情绪几何，线性映射在留出情绪上多数排名第 1；规模增大使方差分散到更多方向，但与人类效价评分的相关性仍保持在 .71 至 .78；27B 模型中情绪词约在第 23 层才进入输出词表前 1 万；指令微调的影响多在预设下限内。
要点速读
- 六个模型均呈现核心情绪几何，线性映射在十五对模型单向拟合中仅失败一次，中位排名为 1；用清洗后的嵌入表向量重拟合后，三十个有序对全部排名 1。
- 主成分方差占比随规模下降：基础版从 31.6%（2B）降至 26.7%（27B），微调版从 31.9% 降至 27.3%，与人类效价评分的相关性在六个模型中为 .71 至 .78。
- 2B 和 9B 模型中情绪词从第 0 层即进入输出词表前 1 万，27B 模型约在第 23 层一步进入；指令微调使效价相关性上升、唤醒度相关性下降，后者与预期相反。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。