论文称模型未过滤的是连贯或可学习的错误结构，而非虚假本身。
资讯摘要
论文考察从零训练的 transformer 在同时包含正确与错误解法的语料上是否偏好正确答案。作者指出成对测试并不中立，改用正确补全与错误生成器可产生的所有字符串逐一比较。在 86M 参数下，正确补全对随机错误占 59.0%±0.8%，而单一错误与成对准确率分别为 77.6% 和 87.4%，高估了超出随机的部分；低于 86M 时主语料未显示偏好。作者称两项检验压缩机制的实验均为负对照，压缩仍是动机而非实测机制。
要点速读
- 论文提出用正确补全对错误生成器全部可能字符串的得分占比替代成对测试，该指标下频率匹配恰为 0.500。
- 86M 参数时正确补全占 59.0%±0.8%（独立语料 59.4%），单一错误为 77.6%、成对准确率 87.4%；低于 86M 主语料无偏好。
- 主语料中连贯的错误规则在各规模均未被过滤（43.5–48.8%）；两项检验压缩机制的实验为负对照，压缩未被实测。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/5 08:00:38（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。