自然语言自编码器能识别激活却未必解释其含义

NLA 的重建成功标准无法保证解释忠实。

资讯摘要

一篇 arXiv 论文讨论自然语言自编码器（NLA）的评估问题。NLA 用 verbalizer 把模型内部激活转成英文解释，再由 reconstructor 还原为激活，以往返重建是否成功作为解释有效的标准。作者指出，该标准只检验信息是否充分，不检验描述是否忠实：一句话即使错误解释激活的作用，也可能足以识别该激活。作者认为这与思维链忠实性问题结构相同，并类比人类内省报告与实际心理过程的分离。

要点速读

1. NLA 以 verbalizer 生成英文解释、reconstructor 还原激活，往返重建成功即视为解释成功。
2. 作者认为重建标准只评估信息充分性，不评估描述忠实性，错误解释也可能通过识别检验。
3. 作者将该问题类比思维链忠实性，以及人类内省报告与实际心理过程的分离。

中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/27 08:00:28（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。