可解码性不足以证明信息会被表达或可控。
资讯摘要
论文提出一个受控审计框架，用参数化CAD区分编码、表达与激活层面控制的失败，并测试八个预训练模型及匹配的随机初始化对照。作者报告预训练对局部关系线性解码的贡献远大于全局约束状态，而后者在随机表征中已高度可解码；强局部可解码性未转化为零样本预测，仍远低于监督探针。恢复干净内部激活可修复探针预测，简单激活引导不能可靠定向控制；仅400对标注关系数据做低秩微调即可显著改善三个代表性模型的生成。
要点速读
- 论文用参数化CAD构建受控审计框架，区分编码、表达和激活控制三类失败。
- 作者报告预训练对局部关系线性解码贡献更大，全局约束状态在随机表征中已高度可解码。
- 仅400对标注关系数据做低秩微调，可显著改善三个代表性模型的生成。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/31 08:00:18（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。